[ad_1]
Vì các mô hình học máy có thể đưa ra dự đoán sai, các nhà nghiên cứu thường trang bị cho chúng khả năng cho người dùng biết mức độ tự tin của họ về một quyết định nào đó. Điều này đặc biệt quan trọng trong các bối cảnh có rủi ro cao, chẳng hạn như khi các mô hình được sử dụng để giúp xác định bệnh trong hình ảnh y tế hoặc lọc đơn xin việc.
Nhưng định lượng sự không chắc chắn của mô hình chỉ hữu ích nếu chúng chính xác. Nếu một mô hình cho biết có 49 phần trăm độ tin cậy rằng hình ảnh y tế cho thấy tràn dịch màng phổi, thì 49 phần trăm thời gian, mô hình đó phải đúng.
Các nhà nghiên cứu MIT đã giới thiệu một phương pháp mới có thể cải thiện ước tính độ không chắc chắn trong các mô hình học máy. Phương pháp của họ không chỉ tạo ra ước tính độ không chắc chắn chính xác hơn các kỹ thuật khác mà còn hiệu quả hơn.
Ngoài ra, vì kỹ thuật này có khả năng mở rộng nên có thể áp dụng cho các mô hình học sâu khổng lồ đang ngày càng được triển khai trong chăm sóc sức khỏe và các tình huống quan trọng khác về an toàn.
Kỹ thuật này có thể cung cấp cho người dùng cuối, nhiều người trong số họ không có chuyên môn về máy học, thông tin tốt hơn mà họ có thể sử dụng để xác định xem có nên tin vào dự đoán của mô hình hay không hoặc liệu có nên triển khai mô hình cho một nhiệm vụ cụ thể hay không.
“Thật dễ dàng để thấy những mô hình này hoạt động thực sự tốt trong các tình huống mà chúng rất tốt, và sau đó cho rằng chúng sẽ tốt như vậy trong các tình huống khác. Điều này làm cho việc thúc đẩy loại công việc này nhằm hiệu chỉnh tốt hơn sự không chắc chắn của các mô hình này để đảm bảo chúng phù hợp với các khái niệm của con người về sự không chắc chắn trở nên đặc biệt quan trọng”, tác giả chính Nathan Ng, một sinh viên sau đại học tại Đại học Toronto, hiện là sinh viên thỉnh giảng tại MIT, cho biết.
Ng đã viết bài báo với Roger Grosse, phó giáo sư khoa học máy tính tại Đại học Toronto; và tác giả chính Marzyeh Ghassemi, phó giáo sư tại Khoa Kỹ thuật Điện và Khoa học Máy tính và là thành viên của Viện Khoa học Kỹ thuật Y khoa và Phòng thí nghiệm Hệ thống Thông tin và Quyết định. Nghiên cứu sẽ được trình bày tại Hội nghị Quốc tế về Học máy.
Định lượng sự không chắc chắn
Các phương pháp định lượng sự không chắc chắn thường yêu cầu các phép tính thống kê phức tạp không phù hợp với các mô hình học máy có hàng triệu tham số. Các phương pháp này cũng yêu cầu người dùng đưa ra các giả định về mô hình và dữ liệu được sử dụng để đào tạo mô hình.
Các nhà nghiên cứu MIT đã áp dụng một cách tiếp cận khác. Họ sử dụng cái được gọi là nguyên tắc độ dài mô tả tối thiểu (MDL), không yêu cầu các giả định có thể cản trở độ chính xác của các phương pháp khác. MDL được sử dụng để định lượng và hiệu chuẩn tốt hơn sự không chắc chắn cho các điểm kiểm tra mà mô hình được yêu cầu dán nhãn.
Kỹ thuật mà các nhà nghiên cứu phát triển, được gọi là IF-COMP, giúp MDL đủ nhanh để sử dụng với các loại mô hình học sâu lớn được triển khai trong nhiều bối cảnh thực tế.
MDL bao gồm việc xem xét tất cả các nhãn có thể mà một mô hình có thể đưa ra cho một điểm kiểm tra. Nếu có nhiều nhãn thay thế cho điểm này phù hợp, độ tin cậy của nó vào nhãn mà nó chọn sẽ giảm theo.
Ng cho biết: “Một cách để hiểu mức độ tự tin của một mô hình là cung cấp cho nó một số thông tin trái ngược với thực tế và xem khả năng nó tin bạn là bao nhiêu”.
Ví dụ, hãy xem xét một mô hình cho biết hình ảnh y khoa cho thấy tràn dịch màng phổi. Nếu các nhà nghiên cứu nói với mô hình rằng hình ảnh này cho thấy phù nề và mô hình sẵn sàng cập nhật niềm tin của mình, thì mô hình sẽ ít tự tin hơn vào quyết định ban đầu của mình.
Với MDL, nếu một mô hình tự tin khi gắn nhãn một điểm dữ liệu, nó sẽ sử dụng một mã rất ngắn để mô tả điểm đó. Nếu nó không chắc chắn về quyết định của mình vì điểm đó có thể có nhiều nhãn khác, nó sẽ sử dụng một mã dài hơn để nắm bắt những khả năng này.
Lượng mã được sử dụng để gắn nhãn một điểm dữ liệu được gọi là độ phức tạp của dữ liệu ngẫu nhiên. Nếu các nhà nghiên cứu hỏi mô hình về mức độ sẵn sàng cập nhật niềm tin của nó về một điểm dữ liệu khi có bằng chứng trái ngược, độ phức tạp của dữ liệu ngẫu nhiên sẽ giảm nếu mô hình tự tin.
Nhưng việc kiểm tra từng điểm dữ liệu bằng MDL sẽ đòi hỏi khối lượng tính toán rất lớn.
Tăng tốc quá trình
Với IF-COMP, các nhà nghiên cứu đã phát triển một kỹ thuật xấp xỉ có thể ước tính chính xác độ phức tạp của dữ liệu ngẫu nhiên bằng cách sử dụng một hàm đặc biệt, được gọi là hàm ảnh hưởng. Họ cũng sử dụng một kỹ thuật thống kê được gọi là thang nhiệt độ, giúp cải thiện hiệu chuẩn của đầu ra của mô hình. Sự kết hợp giữa các hàm ảnh hưởng và thang nhiệt độ này cho phép xấp xỉ độ phức tạp của dữ liệu ngẫu nhiên một cách chất lượng cao.
Cuối cùng, IF-COMP có thể tạo ra các định lượng không chắc chắn được hiệu chuẩn tốt phản ánh độ tin cậy thực sự của mô hình. Kỹ thuật này cũng có thể xác định xem mô hình có gắn nhãn sai một số điểm dữ liệu nhất định hay không hoặc tiết lộ điểm dữ liệu nào là ngoại lệ.
Các nhà nghiên cứu đã thử nghiệm hệ thống của họ trên ba nhiệm vụ này và thấy rằng nó nhanh hơn và chính xác hơn các phương pháp khác.
Ghassemi cho biết: “Điều thực sự quan trọng là phải có một số sự chắc chắn rằng một mô hình được hiệu chỉnh tốt và ngày càng có nhu cầu phát hiện khi một dự đoán cụ thể có vẻ không đúng. Các công cụ kiểm toán đang trở nên cần thiết hơn trong các vấn đề học máy khi chúng ta sử dụng một lượng lớn dữ liệu chưa được kiểm tra để tạo ra các mô hình sẽ được áp dụng cho các vấn đề liên quan đến con người”.
IF-COMP không phụ thuộc vào mô hình, do đó có thể cung cấp định lượng chính xác về sự không chắc chắn cho nhiều loại mô hình học máy. Điều này có thể cho phép triển khai trong nhiều bối cảnh thực tế hơn, cuối cùng giúp nhiều học viên đưa ra quyết định tốt hơn.
“Mọi người cần hiểu rằng những hệ thống này rất dễ sai sót và có thể tạo ra những thứ mới khi chúng hoạt động. Một mô hình có thể trông có vẻ rất tự tin, nhưng có rất nhiều điều khác nhau mà nó sẵn sàng tin khi có bằng chứng ngược lại”, Ng nói.
Trong tương lai, các nhà nghiên cứu quan tâm đến việc áp dụng phương pháp của họ vào các mô hình ngôn ngữ lớn và nghiên cứu các trường hợp sử dụng tiềm năng khác cho nguyên tắc độ dài mô tả tối thiểu.
[ad_2]
Source link