Ý nghĩa của khả năng giải thích đối với AI | của Stephanie Kirmer | Tháng 6 năm 2024

Chúng ta có còn quan tâm đến việc máy học của chúng ta hoạt động như thế nào không?

Hôm nay tôi muốn triết lý một chút và nói về sự giao thoa giữa khả năng giải thích và rủi ro trong học máy.

Nói ngắn gọn, khả năng giải thích trong học máy là ý tưởng mà bạn có thể giải thích cho người dùng (không nhất thiết phải là người hiểu biết về mặt kỹ thuật) cách một mô hình đưa ra quyết định. Cây quyết định là một ví dụ về mô hình dễ giải thích (đôi khi được gọi là “hộp trắng”), trong đó bạn có thể chỉ vào “Mô hình phân chia dữ liệu giữa các ngôi nhà có diện tích lớn hơn một hoặc nhỏ hơn hoặc bằng một”, v.v. . Các loại mô hình phức tạp hơn khác có thể là “hộp xám” hoặc “hộp đen” – ngày càng khó khăn dẫn đến người dùng không thể hiểu được khi đứng ngoài cổng.

Bài học nền tảng trong quá trình đào tạo máy học của tôi luôn là mối quan hệ của chúng ta với các mô hình (thường là các mô hình kiểu cây được tăng cường) tối đa phải là “Tin cậy nhưng phải xác minh”. Khi bạn đào tạo một mô hình, đừng coi những dự đoán ban đầu theo mệnh giá mà hãy dành thời gian nghiêm túc để tìm hiểu lốp xe. Kiểm tra hành vi của mô hình trên các ngoại lệ rất kỳ lạ, ngay cả khi chúng khó có thể xảy ra trong thực tế. Hãy vẽ bản thân cây nếu nó đủ nông. Sử dụng các kỹ thuật như tầm quan trọng của đặc tính, giá trị Shapley và CHANH XANH để kiểm tra xem mô hình có đưa ra suy luận bằng cách sử dụng các tính năng tương ứng với kiến ​​thức của bạn về chủ đề và logic hay không. Các phần phân chia tính năng trong một cây nhất định có phù hợp với những gì bạn biết về chủ đề này không? Khi lập mô hình các hiện tượng vật lý, bạn cũng có thể so sánh hành vi của mô hình với những gì chúng ta biết một cách khoa học về cách mọi thứ hoạt động. Đừng chỉ tin tưởng mô hình của bạn sẽ tiếp cận vấn đề một cách đúng đắn mà hãy kiểm tra.

Đừng chỉ tin tưởng mô hình của bạn sẽ tiếp cận vấn đề một cách đúng đắn mà hãy kiểm tra.

Khi mức độ liên quan của mạng lưới thần kinh ngày càng bùng nổ, sự đánh đổi lớn nhất mà chúng tôi phải cân nhắc là khả năng giải thích kiểu này trở nên vô cùng khó khăn và thay đổi đáng kể do cách thức hoạt động của kiến ​​trúc.

Các mô hình mạng thần kinh áp dụng các hàm cho dữ liệu đầu vào ở mỗi lớp trung gian, biến đổi dữ liệu theo vô số cách trước khi chuyển dữ liệu trở lại giá trị đích ở lớp cuối cùng. Hiệu quả của việc này là, không giống như sự phân chia của mô hình dựa trên cây, các lớp trung gian giữa đầu vào và đầu ra thường không thể giải thích được một cách hợp lý. Bạn có thể tìm thấy một nút cụ thể trong một số lớp trung gian và xem giá trị của nó ảnh hưởng đến đầu ra như thế nào, nhưng việc liên kết nút này với các đầu vào cụ thể, thực tế mà con người có thể hiểu được thường sẽ không thành công do mức độ trừu tượng hóa của các lớp thậm chí là đơn giản. NN là.

Điều này có thể dễ dàng được minh họa bằng bài toán “husky vs sói”. Một mạng lưới thần kinh tích chập đã được đào tạo để phân biệt giữa ảnh của chó husky và chó sói, nhưng khi điều tra, người ta phát hiện ra rằng mô hình này đang đưa ra lựa chọn dựa trên màu nền. Những bức ảnh huấn luyện chó husky ít có khả năng chụp trong bối cảnh có tuyết hơn so với ảnh chụp chó sói, vì vậy, bất cứ khi nào người mẫu nhận được hình ảnh có nền tuyết, nó đều dự đoán rằng sẽ có một con sói. Mô hình này đã sử dụng thông tin mà những người liên quan chưa từng nghĩ tới và phát triển logic bên trong dựa trên những đặc điểm sai lầm.

Điều này có nghĩa là các bài kiểm tra truyền thống về “mô hình này có đang ‘suy nghĩ’ về vấn đề theo cách phù hợp với thực tế vật lý hay trực giác không?” Trở nên lỗi thời. Chúng tôi không thể biết mô hình đang đưa ra lựa chọn của nó theo cách tương tự như thế nào, nhưng thay vào đó, chúng tôi lại dựa nhiều hơn vào các phương pháp thử và sai. Có các chiến lược thử nghiệm có hệ thống cho vấn đề này, về cơ bản là thử nghiệm một mô hình với nhiều phản thực tế để xác định loại và mức độ biến đổi nào ở đầu vào sẽ tạo ra những thay đổi ở đầu ra, nhưng điều này nhất thiết phải khó khăn và cần tính toán nhiều.

Chúng tôi không thể biết mô hình đang đưa ra lựa chọn của nó theo cách tương tự như thế nào, nhưng thay vào đó, chúng tôi lại dựa nhiều hơn vào các phương pháp thử và sai.

Tôi không có ý tranh luận rằng những nỗ lực tìm hiểu phần nào cách thức mạng lưới thần kinh thực hiện những gì chúng làm là vô vọng. Nhiều học giả rất quan tâm đến AI có thể giải thích được, được gọi là XAI trong tài liệu. Sự đa dạng trong các loại mô hình hiện nay có nghĩa là có nhiều cách tiếp cận mà chúng ta có thể và nên theo đuổi. Cơ chế chú ý là một tiến bộ công nghệ giúp chúng ta hiểu được phần nào của đầu vào mà mô hình đang chú ý/được điều khiển nhiều nhất, điều này có thể hữu ích. Anthropic vừa phát hành một báo cáo rất thú vị đào sâu vào khả năng diễn giải của Claude, cố gắng hiểu những từ, cụm từ hoặc hình ảnh nào gây ra sự kích hoạt mạnh nhất cho LLM tùy thuộc vào lời nhắc sử dụng bộ mã hóa tự động thưa thớt. Các công cụ tôi đã mô tả ở trên, bao gồm cả Shapley và VÔI, cũng có thể được áp dụng cho một số loại mạng thần kinh, chẳng hạn như CNN, mặc dù kết quả có thể khó diễn giải. Nhưng theo định nghĩa, chúng ta càng thêm độ phức tạp thì người xem hoặc người dùng sẽ càng khó hiểu và diễn giải cách mô hình hoạt động.

Một yếu tố bổ sung quan trọng ở đây là nhận ra rằng nhiều mạng thần kinh kết hợp tính ngẫu nhiên, do đó, bạn không thể luôn dựa vào mô hình để trả về cùng một đầu ra khi nó nhìn thấy cùng một đầu vào. Cụ thể, các mô hình AI tổng quát có thể cố ý tạo ra các đầu ra khác nhau từ cùng một đầu vào, sao cho chúng có vẻ “con người” hoặc sáng tạo hơn – chúng ta có thể tăng hoặc giảm mức độ cực đoan của biến thể này bằng cách điều chỉnh “nhiệt độ”. Điều này có nghĩa là đôi khi mô hình của chúng tôi sẽ chọn trả về không phải kết quả đầu ra có xác suất mong muốn nhất mà là một điều gì đó “đáng ngạc nhiên”, giúp nâng cao tính sáng tạo của kết quả.

Trong những trường hợp này, chúng ta vẫn có thể thực hiện một số phương pháp thử và sai để thử và phát triển sự hiểu biết của mình về những gì mô hình đang làm và tại sao, nhưng nó trở nên phức tạp hơn theo cấp số nhân. Thay vì thay đổi duy nhất đối với phương trình là một đầu vào khác, giờ đây chúng ta có những thay đổi ở đầu vào cộng với độ biến thiên chưa xác định do tính ngẫu nhiên. Sự thay đổi đầu vào của bạn có làm thay đổi phản hồi hay đó là kết quả của sự ngẫu nhiên? Thường thì không thể thực sự biết được.

Sự thay đổi đầu vào của bạn có làm thay đổi phản hồi hay đó là kết quả của sự ngẫu nhiên?

Vậy thứ này bỏ chúng ta ở đâu? Tại sao ngay từ đầu chúng ta muốn biết mô hình đã suy luận như thế nào? Tại sao điều đó lại quan trọng đối với chúng tôi với tư cách là nhà phát triển máy học và người sử dụng mô hình?

Nếu chúng ta xây dựng công nghệ học máy giúp chúng ta đưa ra lựa chọn và định hình hành vi của mọi người, thì trách nhiệm giải trình về kết quả sẽ thuộc về chúng ta. Đôi khi các dự đoán về mô hình phải thông qua người trung gian là con người trước khi chúng được áp dụng vào thế giới của chúng ta, nhưng chúng ta ngày càng thấy các mô hình bị lỏng lẻo và các suy luận trong quá trình sản xuất được sử dụng mà không được xem xét thêm. Công chúng nói chung có nhiều quyền truy cập trực tiếp vào các mô hình học máy có độ phức tạp lớn hơn bao giờ hết.

Do đó, đối với tôi, việc hiểu cách thức và lý do mô hình thực hiện những gì nó làm là sự thẩm định cũng giống như thử nghiệm để đảm bảo một món đồ chơi được sản xuất không có sơn chì trên đó hoặc một bộ phận máy móc sẽ không bị gãy và hỏng khi sử dụng bình thường. tay ai đó. Việc kiểm tra điều đó khó hơn rất nhiều, nhưng việc đảm bảo rằng tôi không phát hành ra thế giới một sản phẩm khiến cuộc sống trở nên tồi tệ hơn là lập trường đạo đức mà tôi cam kết thực hiện. Nếu bạn đang xây dựng một mô hình học máy, bạn phải chịu trách nhiệm về chức năng của mô hình đó và tác động của mô hình đó đối với con người và thế giới. Do đó, để thực sự cảm thấy tự tin rằng mô hình của bạn an toàn khi sử dụng, bạn cần hiểu biết ở mức độ nào đó về cách thức và lý do mô hình trả về kết quả đầu ra mà nó thực hiện.

Nếu bạn đang xây dựng một mô hình học máy, bạn phải chịu trách nhiệm về chức năng của mô hình đó và tác động của mô hình đó đối với con người và thế giới.

Ngoài ra, độc giả có thể nhớ từ bài viết của tôi về Đạo luật AI của EU rằng có những yêu cầu mà các dự đoán của mô hình phải chịu sự giám sát của con người và chúng không đưa ra quyết định có tác động phân biệt đối xử dựa trên các đặc điểm được bảo vệ. Vì vậy, ngay cả khi bạn không cảm thấy bị thuyết phục bởi lập luận đạo đức, đối với nhiều người trong chúng ta, động cơ đó cũng có động cơ pháp lý.

Ngay cả khi sử dụng mạng nơ-ron, chúng ta vẫn có thể sử dụng các công cụ để hiểu rõ hơn cách mô hình của chúng ta đưa ra lựa chọn – chúng ta chỉ cần dành thời gian và thực hiện công việc để đạt được điều đó.

Về mặt triết học, chúng ta có thể (và mọi người cũng vậy) lập luận rằng những tiến bộ trong học máy đã vượt qua mức độ phức tạp cơ bản đòi hỏi chúng ta phải từ bỏ mong muốn hiểu tất cả về nó. Điều này có thể đúng! Nhưng chúng ta không nên bỏ qua sự đánh đổi mà điều này tạo ra và những rủi ro mà chúng ta chấp nhận. Trong trường hợp tốt nhất, mô hình AI tổng quát của bạn sẽ chủ yếu làm những gì bạn mong đợi (có lẽ nếu bạn luôn kiểm soát nhiệt độ và mô hình của bạn rất kém sáng tạo) và không thực hiện nhiều điều bất ngờ hoặc trường hợp xấu nhất là bạn gây ra thảm họa vì mô hình. phản ứng theo cách mà bạn không hề biết sẽ xảy ra. Điều này có thể có nghĩa là bạn trông thật ngớ ngẩn, hoặc có thể là sự kết thúc công việc kinh doanh của bạn, hoặc nó có thể là sự tổn hại thực sự về thể chất đối với mọi người. Khi bạn chấp nhận rằng khả năng giải thích của mô hình là không thể đạt được, đây chính là loại rủi ro bạn đang gánh chịu trên vai mình. Bạn không thể nói “ồ, người mẫu sẽ làm người mẫu” khi bạn chế tạo thứ này và đưa ra quyết định sáng suốt là phát hành nó hoặc sử dụng những dự đoán của nó.

Nhiều công ty công nghệ lớn và nhỏ đều chấp nhận rằng AI sáng tạo đôi khi sẽ tạo ra kết quả không chính xác, nguy hiểm, phân biệt đối xử và có hại, đồng thời quyết định rằng điều này xứng đáng với những lợi ích được nhận thấy – chúng tôi biết điều này bởi vì các mô hình AI sáng tạo thường xuyên hoạt động theo cách không mong muốn. cách đã được phát hành cho công chúng. Cá nhân tôi, điều khiến tôi khó chịu là ngành công nghệ đã lựa chọn, mà không có bất kỳ sự cân nhắc hay đối thoại rõ ràng nào, để khiến công chúng phải đối mặt với loại rủi ro đó, nhưng thần đèn đã ra khỏi chai.

Đối với tôi, có vẻ như việc theo đuổi XAI và cố gắng tăng tốc nó với sự tiến bộ của AI thế hệ là một mục tiêu cao cả, nhưng tôi không nghĩ chúng ta sẽ đạt đến điểm mà hầu hết mọi người có thể dễ dàng hiểu được cách thức hoạt động của các mô hình này. làm những gì họ làm, chỉ vì kiến ​​trúc quá phức tạp và đầy thách thức. Do đó, tôi nghĩ chúng ta cũng cần thực hiện giảm thiểu rủi ro, đảm bảo rằng những người chịu trách nhiệm về các mô hình ngày càng phức tạp đang ảnh hưởng đến cuộc sống hàng ngày của chúng ta phải chịu trách nhiệm về những sản phẩm này và sự an toàn của chúng. Bởi vì kết quả thường không thể đoán trước được nên chúng ta cần các khuôn khổ để bảo vệ cộng đồng của mình khỏi những tình huống xấu nhất.

Chúng ta không nên coi mọi rủi ro là không thể giải quyết được, nhưng chúng ta cần phải hiểu rõ thực tế là rủi ro tồn tại và những thách thức về khả năng giải thích đối với tính năng tiên tiến của AI có nghĩa là rủi ro của máy học khó đo lường và dự đoán hơn so với các rủi ro khác. bao giờ hết. Lựa chọn có trách nhiệm duy nhất là cân bằng rủi ro này với lợi ích thực sự mà các mô hình này tạo ra (không coi những lợi ích dự kiến ​​​​hoặc hứa hẹn của một số phiên bản trong tương lai là có sẵn) và đưa ra quyết định chu đáo cho phù hợp.