[ad_1]
Các mô hình ngôn ngữ lớn như những mô hình hỗ trợ ChatGPT đã cho thấy hiệu suất ấn tượng trong các nhiệm vụ như soạn thảo bản tóm tắt pháp lý, phân tích cảm xúc trong các đánh giá của khách hàng hoặc dịch tài liệu sang các ngôn ngữ khác nhau.
Các mô hình học máy này thường chỉ sử dụng ngôn ngữ tự nhiên để xử lý thông tin và trả lời các truy vấn, điều này có thể gây khó khăn cho chúng khi thực hiện các nhiệm vụ đòi hỏi lý luận bằng số hoặc ký hiệu.
Ví dụ: một mô hình ngôn ngữ lớn có thể ghi nhớ và đọc thuộc lòng danh sách các tổng thống Mỹ gần đây và ngày sinh của họ, nhưng mô hình tương tự đó có thể thất bại nếu đặt câu hỏi “Những tổng thống Mỹ nào được bầu sau năm 1950 đều sinh vào thứ Tư?” (Câu trả lời là Jimmy Carter.)
Các nhà nghiên cứu từ MIT và các nơi khác đã đề xuất một kỹ thuật mới cho phép các mô hình ngôn ngữ lớn giải quyết ngôn ngữ tự nhiên, toán học và phân tích dữ liệu cũng như các nhiệm vụ lý luận biểu tượng bằng cách tạo ra các chương trình.
Cách tiếp cận của họ, được gọi là các chương trình nhúng ngôn ngữ tự nhiên (NLEP), liên quan đến việc nhắc mô hình ngôn ngữ tạo và thực thi chương trình Python để giải quyết truy vấn của người dùng, sau đó đưa ra giải pháp dưới dạng ngôn ngữ tự nhiên.
Họ phát hiện ra rằng NLEP cho phép các mô hình ngôn ngữ lớn đạt được độ chính xác cao hơn trong nhiều nhiệm vụ lý luận. Cách tiếp cận này cũng có thể khái quát hóa, nghĩa là một dấu nhắc NLEP có thể được sử dụng lại cho nhiều tác vụ.
NLEP cũng cải thiện tính minh bạch vì người dùng có thể kiểm tra chương trình để xem chính xác cách mô hình lý giải về truy vấn và sửa chương trình nếu mô hình đưa ra câu trả lời sai.
“Chúng tôi muốn AI thực hiện các lý luận phức tạp theo cách minh bạch và đáng tin cậy. Vẫn còn một chặng đường dài phía trước, nhưng chúng tôi đã chỉ ra rằng việc kết hợp khả năng lập trình và ngôn ngữ tự nhiên trong các mô hình ngôn ngữ lớn là bước đầu tiên đầy tiềm năng hướng tới một tương lai nơi mọi người hoàn toàn có thể hiểu và tin tưởng những gì đang diễn ra bên trong AI của họ. mô hình,” Tiến sĩ Hongyin Luo ’22, một postdoc của MIT và đồng tác giả của một nghiên cứu cho biết. bài viết về NLEP.
Luo tham gia vào bài báo bởi đồng tác giả Tianhua Zhang, một sinh viên tốt nghiệp tại Đại học Trung Quốc Hồng Kông; và Jiaxin Ge, sinh viên đại học Bắc Kinh; Yoon Kim, trợ lý giáo sư tại Khoa Kỹ thuật Điện và Khoa học Máy tính của MIT và là thành viên của Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL); tác giả cấp cao James Glass, nhà khoa học nghiên cứu cấp cao và người đứng đầu Nhóm Hệ thống Ngôn ngữ Nói tại CSAIL; và những người khác. Nghiên cứu này sẽ được trình bày tại Hội nghị thường niên của Hiệp hội Ngôn ngữ học tính toán Bắc Mỹ.
Giải quyết vấn đề bằng chương trình
Nhiều mô hình ngôn ngữ lớn phổ biến hoạt động bằng cách dự đoán từ hoặc mã thông báo tiếp theo dựa trên một số đầu vào ngôn ngữ tự nhiên. Mặc dù các mô hình như GPT-4 có thể được sử dụng để viết chương trình nhưng chúng nhúng các chương trình đó vào ngôn ngữ tự nhiên, điều này có thể dẫn đến sai sót trong lý luận hoặc kết quả của chương trình.
Với NLEP, các nhà nghiên cứu của MIT đã áp dụng cách tiếp cận ngược lại. Chúng nhắc mô hình tạo chương trình từng bước hoàn toàn bằng mã Python, sau đó nhúng ngôn ngữ tự nhiên cần thiết vào bên trong chương trình.
NLEP là một mẫu giải quyết vấn đề gồm bốn bước. Đầu tiên, mô hình gọi các gói hoặc hàm cần thiết để giải quyết nhiệm vụ. Bước hai liên quan đến việc nhập các biểu diễn bằng ngôn ngữ tự nhiên của kiến thức mà nhiệm vụ yêu cầu (chẳng hạn như danh sách ngày sinh của các tổng thống Hoa Kỳ). Đối với bước ba, mô hình thực hiện một hàm tính toán câu trả lời. Và ở bước cuối cùng, mô hình đưa ra kết quả dưới dạng một dòng ngôn ngữ tự nhiên với tính năng trực quan hóa dữ liệu tự động, nếu cần.
Luo nói: “Nó giống như một chiếc máy tính kỹ thuật số luôn mang lại cho bạn kết quả tính toán chính xác miễn là chương trình đúng”.
Người dùng có thể dễ dàng điều tra chương trình và sửa trực tiếp mọi lỗi trong mã thay vì phải chạy lại toàn bộ mô hình để khắc phục sự cố.
Cách tiếp cận này cũng mang lại hiệu quả cao hơn một số phương pháp khác. Nếu người dùng có nhiều câu hỏi tương tự, họ có thể tạo một chương trình cốt lõi và sau đó thay thế các biến nhất định mà không cần chạy mô hình nhiều lần.
Để nhắc mô hình tạo NLEP, các nhà nghiên cứu đưa ra hướng dẫn tổng thể để viết chương trình Python, cung cấp hai ví dụ NLEP (một ví dụ về toán và một ví dụ về ngôn ngữ tự nhiên) và một câu hỏi kiểm tra.
“Thông thường, khi thực hiện kiểu nhắc nhở ngắn gọn này, họ vẫn phải thiết kế lời nhắc cho từng công việc. Luo cho biết: Chúng tôi nhận thấy rằng chúng tôi có thể có một lời nhắc cho nhiều nhiệm vụ vì đó không phải là lời nhắc dạy LLM giải quyết một vấn đề mà là lời nhắc dạy LLM giải quyết nhiều vấn đề bằng cách viết một chương trình.
Leonid Karlinsky, nhà khoa học chính tại Phòng thí nghiệm AI của MIT-IBM Watson cho biết: “Việc có các mô hình ngôn ngữ lý luận bằng mã sẽ mở ra nhiều cơ hội sử dụng công cụ, xác thực đầu ra, hiểu biết có cấu trúc hơn về khả năng và cách suy nghĩ của mô hình, v.v.”.
“Không có phép thuật ở đây”
NLEP đạt được độ chính xác cao hơn 90% khi nhắc GPT-4 giải quyết một loạt nhiệm vụ suy luận mang tính biểu tượng, như theo dõi các đối tượng bị xáo trộn hoặc chơi trò chơi 24 người, cũng như các nhiệm vụ phân loại văn bản và làm theo hướng dẫn. Các nhà nghiên cứu phát hiện ra rằng NLEP thậm chí còn thể hiện độ chính xác cao hơn 30% so với các phương pháp nhắc nhở dành riêng cho nhiệm vụ. Phương pháp này cũng cho thấy những cải tiến so với LLM nguồn mở.
Cùng với việc tăng cường độ chính xác của các mô hình ngôn ngữ lớn, NLEP cũng có thể cải thiện quyền riêng tư dữ liệu. Vì các chương trình NLEP được chạy cục bộ nên dữ liệu nhạy cảm của người dùng không cần phải được gửi đến một công ty như OpenAI hoặc Google để được mô hình xử lý.
Ngoài ra, NLEP có thể cho phép các mô hình ngôn ngữ nhỏ hoạt động tốt hơn mà không cần phải đào tạo lại mô hình cho một nhiệm vụ nhất định, đây có thể là một quá trình tốn kém.
“Không có phép thuật nào ở đây cả. Chúng tôi không có mô hình ngôn ngữ đắt tiền hoặc ưa thích hơn. Tất cả những gì chúng tôi làm là sử dụng việc tạo chương trình thay vì tạo ngôn ngữ tự nhiên và chúng tôi có thể làm cho nó hoạt động tốt hơn đáng kể”, Luo nói.
Tuy nhiên, NLEP phụ thuộc vào khả năng tạo chương trình của mô hình, do đó, kỹ thuật này không hoạt động tốt đối với các mô hình nhỏ hơn đã được đào tạo trên các tập dữ liệu hạn chế. Trong tương lai, các nhà nghiên cứu dự định nghiên cứu các phương pháp có thể làm cho các mô hình ngôn ngữ nhỏ hơn tạo ra NLEP hiệu quả hơn. Ngoài ra, họ muốn điều tra tác động của các biến thể kịp thời đối với NLEP để nâng cao tính chắc chắn của quy trình lý luận của mô hình.
Nghiên cứu này được hỗ trợ một phần bởi Trung tâm Trí tuệ Nhận thức và Tương tác của Hồng Kông.
[ad_2]
Source link