Tại sao chúng ta cần Học tập liên tục cho các mô hình AI

Tại sao, trong một thế giới mà hằng số duy nhất là sự thay đổi, chúng ta cần một Học tập liên tục cách tiếp cận các mô hình AI.

Hãy tưởng tượng bạn có một con rô-bốt nhỏ được thiết kế để đi bộ quanh khu vườn và tưới cây. Ban đầu, bạn dành vài tuần để thu thập dữ liệu để đào tạo và thử nghiệm rô-bốt, đầu tư nhiều thời gian và nguồn lực. Rô-bốt học cách điều hướng khu vườn hiệu quả khi mặt đất phủ đầy cỏ và đất trống.

Tuy nhiên, khi những tuần trôi qua, hoa bắt đầu nở và diện mạo của khu vườn thay đổi đáng kể. Robotic, được đào tạo trên dữ liệu từ một mùa khác, giờ đây không thể nhận dạng chính xác môi trường xung quanh và gặp khó khăn trong việc hoàn thành nhiệm vụ. Để khắc phục điều này, bạn cần thêm các ví dụ mới về khu vườn nở hoa vào mô hình.

Ý nghĩ đầu tiên của bạn là thêm các ví dụ dữ liệu mới vào quá trình đào tạo và đào tạo lại mô hình từ đầu. Nhưng điều này tốn kém và bạn không muốn làm điều này mỗi khi môi trường thay đổi. Ngoài ra, bạn vừa nhận ra rằng bạn không có tất cả dữ liệu đào tạo lịch sử.

Bây giờ bạn chỉ cần tinh chỉnh mô hình với các mẫu mới. Nhưng điều này có rủi ro vì mô hình có thể mất một số khả năng đã học trước đó, dẫn đến sự lãng quên thảm khốc (tình huống mà mô hình mất đi kiến ​​thức và kỹ năng đã học trước đó khi học thông tin mới).

..vậy có giải pháp thay thế nào không? Có, sử dụng Học tập liên tục!

Tất nhiên, robotic tưới cây trong vườn chỉ là một ví dụ minh họa cho vấn đề này. Ở các phần sau của văn bản, bạn sẽ thấy nhiều ứng dụng thực tế hơn.

Học tập thích ứng với Học tập liên tục (CL)

Không thể lường trước và chuẩn bị cho tất cả các tình huống có thể xảy ra mà một mô hình có thể phải đối mặt trong tương lai. Do đó, trong nhiều trường hợp, việc đào tạo mô hình thích ứng khi có mẫu mới có thể là một lựa chọn tốt.

Trong CL chúng ta muốn tìm sự cân bằng giữa sự ổn định của một mô hình và của nó tính dẻo. Tính ổn định là khả năng của mô hình trong việc lưu giữ thông tin đã học trước đó và tính dẻo là khả năng thích ứng với thông tin mới khi các nhiệm vụ mới được đưa vào.

“(…) trong kịch bản Học tập liên tục, một mô hình học tập được yêu cầu để xây dựng gia tăng và cập nhật động các biểu diễn nội bộ khi phân phối các nhiệm vụ thay đổi động trong suốt vòng đời của nó” (2)

Nhưng làm thế nào để kiểm soát được tính ổn định và tính dẻo?

Các nhà nghiên cứu đã xác định một số cách để xây dựng các mô hình thích ứng. Trong (3) các danh mục sau đã được thiết lập:

1. Phương pháp tiếp cận dựa trên chính quy hóa

• Trong cách tiếp cận này, chúng tôi thêm một thuật ngữ chính quy hóa có tác dụng cân bằng tác động của tác vụ cũ và mới lên cấu trúc mô hình.
• Ví dụ, điều chỉnh trọng lượng nhằm mục đích kiểm soát sự thay đổi của các tham số bằng cách thêm một điều khoản phạt vào hàm mất mát, điều này sẽ phạt sự thay đổi của tham số bằng cách tính đến mức độ tham số đó đóng góp vào các nhiệm vụ trước đó.

2. Phương pháp tiếp cận dựa trên phát lại

• Nhóm phương pháp này tập trung vào việc khôi phục một số dữ liệu lịch sử để mô hình vẫn có thể giải quyết đáng tin cậy các tác vụ trước đó. Một trong những hạn chế của phương pháp này là chúng ta cần truy cập vào dữ liệu lịch sử, điều này không phải lúc nào cũng khả thi.
• Ví dụ, trải nghiệm phát lạinơi chúng tôi lưu giữ và phát lại một mẫu dữ liệu đào tạo cũ. Khi đào tạo một tác vụ mới, một số ví dụ từ các tác vụ trước đó được thêm vào để đưa mô hình vào hỗn hợp các loại tác vụ cũ và mới, do đó hạn chế tình trạng quên thảm khốc.

3. Phương pháp tiếp cận dựa trên tối ưu hóa

• Ở đây chúng ta muốn điều chỉnh các phương pháp tối ưu hóa để duy trì hiệu suất cho mọi tác vụ, đồng thời giảm thiểu tác động của tình trạng quên lãng nghiêm trọng.
• Ví dụ, phép chiếu gradient là phương pháp trong đó các gradient được tính toán cho các tác vụ mới được chiếu sao cho không ảnh hưởng đến các gradient trước đó.

4. Phương pháp tiếp cận dựa trên biểu diễn

• Nhóm phương pháp này tập trung vào việc thu thập và sử dụng các biểu diễn tính năng mạnh mẽ để tránh tình trạng quên lãng nghiêm trọng.
• Ví dụ, học tập tự giám sátnơi một mô hình có thể học cách biểu diễn dữ liệu mạnh mẽ trước khi được đào tạo về các tác vụ cụ thể. Ý tưởng là học các tính năng chất lượng cao phản ánh khả năng khái quát hóa tốt trên các tác vụ khác nhau mà một mô hình có thể gặp phải trong tương lai.

5. Phương pháp tiếp cận dựa trên kiến ​​trúc

• Các phương pháp trước đây giả định một mô hình duy nhất với một không gian tham số duy nhất, nhưng cũng có một số kỹ thuật trong CL khai thác kiến ​​trúc của mô hình.
• Ví dụ, phân bổ tham sốtrong đó, trong quá trình đào tạo, mỗi tác vụ mới được cung cấp một không gian con chuyên dụng trong mạng, giúp loại bỏ vấn đề nhiễu phá hủy tham số. Tuy nhiên, nếu mạng không cố định, kích thước của nó sẽ tăng theo số lượng tác vụ mới.

Và làm thế nào để đánh giá hiệu suất của các mô hình CL?

Hiệu suất cơ bản của các mô hình CL có thể được đo lường từ một số góc độ (3):

• Đánh giá hiệu suất chung: hiệu suất trung bình trên tất cả các nhiệm vụ
• Đánh giá độ ổn định của bộ nhớ: tính toán sự khác biệt giữa hiệu suất tối đa cho một nhiệm vụ nhất định trước và hiệu suất hiện tại của nó sau khi đào tạo liên tục
• Đánh giá tính dẻo dai của học tập: đo lường sự khác biệt giữa hiệu suất đào tạo chung (nếu được đào tạo trên tất cả dữ liệu) và hiệu suất khi được đào tạo bằng CL

Vậy tại sao tất cả các nhà nghiên cứu AI không chuyển sang Học tập liên tục ngay lập tức?

Nếu bạn có quyền truy cập vào dữ liệu đào tạo lịch sử và không lo lắng về chi phí tính toán, việc đào tạo từ đầu có vẻ dễ dàng hơn.

Một trong những lý do cho điều này là khả năng diễn giải những gì xảy ra trong mô hình trong quá trình đào tạo liên tục vẫn còn hạn chế. Nếu đào tạo từ đầu mang lại kết quả tương tự hoặc tốt hơn so với đào tạo liên tục, thì mọi người có thể thích cách tiếp cận dễ dàng hơn, tức là đào tạo lại từ đầu, thay vì dành thời gian cố gắng hiểu các vấn đề về hiệu suất của các phương pháp CL.

Ngoài ra, nghiên cứu hiện tại có xu hướng tập trung vào việc đánh giá các mô hình và khuôn khổ, có thể không phản ánh tốt các trường hợp sử dụng thực tế mà doanh nghiệp có thể có. Như đã đề cập trong (6), có nhiều chuẩn mực gia tăng tổng hợp không phản ánh tốt các tình huống thực tế trong đó có sự tiến hóa tự nhiên của các nhiệm vụ.

Cuối cùng, như đã lưu ý trong (4), nhiều bài báo về chủ đề CL tập trung vào lưu trữ hơn là chi phí tính toán và trên thực tế, lưu trữ dữ liệu lịch sử ít tốn kém và tiêu tốn năng lượng hơn nhiều so với việc đào tạo lại mô hình.

Nếu tập trung nhiều hơn vào việc đưa chi phí tính toán và môi trường vào đào tạo lại mô hình, nhiều người có thể quan tâm đến việc cải thiện trạng thái nghệ thuật hiện tại trong các phương pháp CL vì họ sẽ thấy những lợi ích có thể đo lường được. Ví dụ, như đã đề cập trong (4), đào tạo lại mô hình có thể vượt quá 10.000 ngày GPU đào tạo cho các mô hình lớn gần đây.

Tại sao chúng ta nên nỗ lực cải thiện các mô hình CL?

Học tập liên tục tìm cách giải quyết một trong những nút thắt thách thức nhất của các mô hình AI hiện tại — thực tế là phân phối dữ liệu thay đổi theo thời gian. Đào tạo lại tốn kém và đòi hỏi khối lượng tính toán lớn, đây không phải là cách tiếp cận bền vững theo cả góc độ kinh tế và môi trường. Do đó, trong tương lai, các phương pháp CL được phát triển tốt có thể cho phép các mô hình dễ tiếp cận và có thể tái sử dụng hơn bởi một cộng đồng lớn hơn.

Như đã tìm thấy và tóm tắt trong (4), có một danh sách các ứng dụng vốn yêu cầu hoặc có thể được hưởng lợi từ các phương pháp CL được phát triển tốt:

1. Chỉnh sửa mô hình

• Chỉnh sửa có chọn lọc một phần dễ xảy ra lỗi của mô hình mà không làm hỏng các phần khác của mô hình. Các kỹ thuật Học liên tục có thể giúp liên tục sửa lỗi mô hình với chi phí tính toán thấp hơn nhiều.

2. Cá nhân hóa và chuyên môn hóa

• Các mô hình mục đích chung đôi khi cần được điều chỉnh để cá nhân hóa hơn cho người dùng cụ thể. Với Continuous Studying, chúng ta chỉ có thể cập nhật một tập hợp nhỏ các tham số mà không đưa sự lãng quên thảm khốc vào mô hình.

3. Học tập trên thiết bị

• Các thiết bị nhỏ có bộ nhớ và tài nguyên tính toán hạn chế, do đó, các phương pháp có thể đào tạo mô hình hiệu quả theo thời gian thực khi dữ liệu mới đến mà không cần phải bắt đầu lại từ đầu có thể hữu ích trong lĩnh vực này.

4. Đào tạo lại nhanh hơn với khởi động ấm

• Các mô hình cần được cập nhật khi có mẫu mới hoặc khi phân phối thay đổi đáng kể. Với Continuous Studying, quá trình này có thể hiệu quả hơn bằng cách chỉ cập nhật các phần bị ảnh hưởng bởi mẫu mới, thay vì đào tạo lại từ đầu.

5. Học tăng cường

• Học tăng cường liên quan đến các tác nhân tương tác với môi trường thường không cố định. Do đó, các phương pháp và cách tiếp cận Học liên tục hiệu quả có thể hữu ích cho trường hợp sử dụng này.

Tìm hiểu thêm

Như bạn có thể thấy, vẫn còn còn nhiều chỗ để cải thiện trong lĩnh vực phương pháp Học tập liên tục. Nếu bạn quan tâm, bạn có thể bắt đầu với các tài liệu dưới đây:

• Khóa học giới thiệu: (Khóa học liên tục) Bài giảng số 1: Giới thiệu và động lực từ ContinualAI trên YouTube https://youtu.be/z9DDg2CJjeE?si=j57_qLNmpRWcmXtP
• Bài viết về động lực học tập liên tục: Học tập liên tục: Ứng dụng và con đường phía trước (4)
• Bài viết về các kỹ thuật tiên tiến trong Học tập liên tục: Khảo sát toàn diện về học tập liên tục: Lý thuyết, phương pháp và ứng dụng (3)

Nếu bạn có bất kỳ câu hỏi hoặc bình luận nào, vui lòng chia sẻ trong phần bình luận.

Chúc vui vẻ!

(1) Awasthi, A., & Sarawagi, S. (2019). Học tập liên tục với mạng nơ-ron: Đánh giá. Trong Biên bản Hội nghị quốc tế chung của ACM Ấn Độ về khoa học dữ liệu và quản lý dữ liệu (trang 362–365). Hiệp hội máy tính.

(2) Wiki AI liên tục Giới thiệu về Học tập liên tục https://wiki.continualai.org/the-continualai-wiki/introduction-to-continual-learning

(3) Wang, L., Zhang, X., Su, H., & Zhu, J. (2024). Một cuộc khảo sát toàn diện về học tập liên tục: Lý thuyết, phương pháp và ứng dụng. Giao dịch IEEE về Phân tích mẫu và Trí tuệ máy móc, 46(8), 5362–5383.

(4) Eli Verwimp, Rahaf Aljundi, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke Hüllermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu , Andreas S. Tolias, Joost van de Weijer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars, & Gido M. van de Ven. (2024). Học tập liên tục: Ứng dụng và con đường phía trước https://arxiv.org/abs/2311.11908

(5) Awasthi, A., & Sarawagi, S. (2019). Học tập liên tục với mạng nơ-ron: Một đánh giá. Trong Biên bản Hội nghị quốc tế chung của ACM Ấn Độ về khoa học dữ liệu và quản lý dữ liệu (trang 362–365). Hiệp hội máy tính.

(6) Saurabh Garg, Mehrdad Farajtabar, Hadi Pouransari, Raviteja Vemulapalli, Sachin Mehta, Oncel Tuzel, Vaishaal Shankar, & Fartash Faghri. (2024). TiC-CLIP: Đào tạo liên tục các mô hình CLIP.