[ad_1]
“Bạn chắc chắn có thể tưởng tượng rằng điều tương tự cũng xảy ra với các mô hình học máy”, ông nói. “Vì vậy, nếu mô hình đầu tiên đã thấy một nửa web, thì có lẽ mô hình thứ hai sẽ không yêu cầu một nửa web, mà thực sự sẽ thu thập 100.000 tweet mới nhất và đưa mô hình lên trên đó”.
Ngoài ra, web không chứa một lượng dữ liệu không giới hạn. Để thỏa mãn cơn thèm muốn dữ liệu của chúng, các mô hình AI trong tương lai có thể cần phải đào tạo về dữ liệu tổng hợp—hoặc dữ liệu được tạo ra bởi AI.
Shayne Longpre, người nghiên cứu cách đào tạo LLM tại MIT Media Lab và không tham gia vào nghiên cứu này, cho biết: “Các mô hình nền tảng thực sự dựa vào quy mô dữ liệu để hoạt động tốt”. “Và họ đang tìm kiếm dữ liệu tổng hợp trong môi trường được quản lý, kiểm soát để trở thành giải pháp cho vấn đề đó. Bởi vì nếu họ tiếp tục thu thập thêm dữ liệu trên net, sẽ có lợi nhuận giảm dần”.
Matthias Gerstgrasser, một nhà nghiên cứu AI tại Stanford, người đã viết một bài khác giấy khi xem xét sự sụp đổ của mô hình, ông cho biết việc thêm dữ liệu tổng hợp vào dữ liệu thực tế thay vì thay thế nó không gây ra bất kỳ vấn đề lớn nào. Nhưng ông nói thêm: “Một kết luận mà tất cả các tài liệu về sự sụp đổ của mô hình đều đồng ý là dữ liệu đào tạo chất lượng cao và đa dạng là quan trọng.”
Một tác động khác của sự suy thoái này theo thời gian là thông tin ảnh hưởng đến các nhóm thiểu số bị bóp méo nghiêm trọng trong mô hình vì nó có xu hướng tập trung quá mức vào các mẫu phổ biến hơn trong dữ liệu đào tạo.
Robert Mahari, người nghiên cứu luật tính toán tại MIT Media Lab (ông không tham gia vào nghiên cứu), cho biết trong các mô hình hiện tại, điều này có thể ảnh hưởng đến các ngôn ngữ chưa được đại diện đầy đủ vì chúng đòi hỏi nhiều bộ dữ liệu tổng hợp hơn (do AI tạo ra).
Một ý tưởng có thể giúp tránh suy thoái là đảm bảo mô hình đưa ra nhiều trọng số hơn cho dữ liệu gốc do con người tạo ra. Một phần khác trong nghiên cứu của Shumailov cho phép các thế hệ tương lai lấy mẫu 10% tập dữ liệu gốc, giúp giảm bớt một số tác động tiêu cực.
[ad_2]
Source link