Cách bảo vệ mô hình của bạn với DataRobot: Hướng dẫn toàn diện

Trong thế giới dựa trên dữ liệu ngày nay, việc đảm bảo tính bảo mật và quyền riêng tư của các mô hình học máy là điều bắt buộc, vì việc bỏ qua các khía cạnh này có thể dẫn đến các khoản tiền phạt nặng, vi phạm dữ liệu, tiền chuộc cho các nhóm tin tặc và mất uy tín đáng kể đối với khách hàng và đối tác. DataRobot cung cấp các giải pháp mạnh mẽ để bảo vệ chống lại 10 rủi ro hàng đầu được xác định bởi Dự án bảo mật ứng dụng toàn cầu mở (OWASP), bao gồm các lỗ hổng bảo mật và quyền riêng tư. Cho dù bạn đang làm việc với các mô hình tùy chỉnh, sử dụng sân chơi DataRobot hay cả hai, điều này Hướng dẫn bảo vệ 7 bước sẽ hướng dẫn bạn cách thiết lập một hệ thống kiểm duyệt hiệu quả cho tổ chức của bạn.

Bước 1: Truy cập Thư viện kiểm duyệt

Bắt đầu bằng cách mở Thư viện bảo vệ của DataRobot, nơi bạn có thể chọn nhiều biện pháp bảo vệ khác nhau để bảo vệ mô hình của mình. Những người bảo vệ này có thể giúp ngăn ngừa một số vấn đề, chẳng hạn như:

• Rò rỉ thông tin nhận dạng cá nhân (PII)
• tiêm nhắc nhở
• Nội dung có hại
• Ảo giác (sử dụng Rouge-1 và Faithfulness)
• Thảo luận về cạnh tranh
• Chủ đề trái phép

Bước 2: Sử dụng lan can tùy chỉnh và nâng cao

DataRobot không chỉ được trang bị các bộ bảo vệ tích hợp mà còn cung cấp tính linh hoạt để sử dụng bất kỳ mô hình tùy chỉnh nào làm bộ bảo vệ, bao gồm các mô hình ngôn ngữ lớn (LLM), mô hình nhị phân, hồi quy và nhiều lớp. Điều này cho phép bạn điều chỉnh hệ thống kiểm duyệt theo nhu cầu cụ thể của mình. Ngoài ra, bạn có thể sử dụng các đường ray tự kiểm tra đầu vào và đầu ra ‘NVIDIA NeMo’ hiện đại để đảm bảo rằng các mô hình luôn đi đúng chủ đề, tránh các từ bị chặn và xử lý các cuộc hội thoại theo cách được xác định trước. Cho dù bạn chọn các tùy chọn tích hợp mạnh mẽ hay quyết định tích hợp các giải pháp tùy chỉnh của riêng mình, DataRobot đều hỗ trợ nỗ lực của bạn nhằm duy trì các tiêu chuẩn cao về bảo mật và hiệu quả.

Bước 3: Cấu hình bảo vệ của bạn

Thiết lập bảo vệ triển khai đánh giá

1. Chọn thực thể để áp dụng nó (nhắc nhở hoặc phản hồi).
2. Triển khai các mô hình toàn cầu từ Sổ đăng ký DataRobot hoặc sử dụng mô hình của riêng bạn.
3. Đặt ngưỡng kiểm duyệt để xác định mức độ nghiêm ngặt của người bảo vệ.

Ví dụ về phản hồi với tiêu chí kiểm duyệt PII > 0,8

Ví dụ về phản hồi với tiêu chí kiểm duyệt PII > 0,5

Bước 4: Xác định logic điều độ

Chọn phương pháp kiểm duyệt:

• Báo cáo: Theo dõi và thông báo cho quản trị viên nếu không đáp ứng được tiêu chí kiểm duyệt.
• Khối: Chặn lời nhắc hoặc phản hồi nếu không đáp ứng tiêu chí, hiển thị thông báo tùy chỉnh thay vì phản hồi LLM.

Theo mặc định, việc kiểm duyệt hoạt động như sau:

• Đầu tiên, các lời nhắc được đánh giá track track bằng cách sử dụng các bộ bảo vệ được định cấu hình để giảm độ trễ.
• Nếu một lời nhắc không được đánh giá bởi bất kỳ người bảo vệ “chặn” nào, nó sẽ không được gửi đến LLM, giúp giảm chi phí và tăng cường bảo mật.
• Những lời nhắc vượt qua tiêu chí sẽ được tính điểm bằng LLM và sau đó, các phản hồi sẽ được đánh giá.
• Nếu phản hồi không thành công, người dùng sẽ thấy thông báo do khách hàng tạo trước thay vì phản hồi LLM thô.

Bước 5: Kiểm tra và triển khai

Trước khi phát hành trực tiếp, hãy kiểm tra kỹ lưỡng logic kiểm duyệt. Sau khi hài lòng, hãy đăng ký và triển khai mô hình của bạn. Sau đó, bạn có thể tích hợp nó vào nhiều ứng dụng khác nhau, chẳng hạn như ứng dụng Hỏi đáp, ứng dụng tùy chỉnh hoặc thậm chí là Slackbot để xem hoạt động kiểm duyệt đang hoạt động.

Bước 6: Giám sát và kiểm toán

Theo dõi hiệu suất của hệ thống kiểm duyệt bằng các số liệu tùy chỉnh được tạo tự động. Các số liệu này cung cấp cái nhìn sâu sắc về:

• Số lượng lời nhắc và phản hồi bị chặn bởi mỗi người bảo vệ.
• Độ trễ của từng giai đoạn kiểm duyệt và bảo vệ.
• Điểm trung bình cho mỗi lần bảo vệ và giai đoạn, chẳng hạn như độ trung thực và độc tính.

Ngoài ra, tất cả các hoạt động được kiểm duyệt đều được ghi lại, cho phép bạn kiểm tra hoạt động của ứng dụng và tính hiệu quả của hệ thống kiểm duyệt.

Bước 7: Triển khai vòng phản hồi của con người

Ngoài việc giám sát và ghi nhật ký tự động, việc thiết lập vòng phản hồi của con người là rất quan trọng để tinh chỉnh tính hiệu quả của hệ thống kiểm duyệt của bạn. Bước này liên quan đến việc thường xuyên xem xét kết quả của quá trình kiểm duyệt và các quyết định được đưa ra bởi các nhân viên bảo vệ tự động. Bằng cách kết hợp phản hồi từ người dùng và quản trị viên, bạn có thể liên tục cải thiện độ chính xác và khả năng phản hồi của mô hình. Cách tiếp cận con người trong vòng lặp này đảm bảo rằng hệ thống kiểm duyệt thích ứng với những thách thức mới và phát triển phù hợp với mong đợi của người dùng cũng như các tiêu chuẩn đang thay đổi, nâng cao hơn nữa độ tin cậy và độ tin cậy của các ứng dụng AI của bạn.

from datarobot.fashions.deployment import CustomMetric

custom_metric = CustomMetric.get(
    deployment_id="5c939e08962d741e34f609f0", custom_metric_id="65f17bdcd2d66683cdfc1113")

knowledge = ({'worth': 12, 'sample_size': 3, 'timestamp': '2024-03-15T18:00:00'},
        {'worth': 11, 'sample_size': 5, 'timestamp': '2024-03-15T17:00:00'},
        {'worth': 14, 'sample_size': 3, 'timestamp': '2024-03-15T16:00:00'})

custom_metric.submit_values(knowledge=knowledge)

# knowledge witch affiliation IDs
knowledge = ({'worth': 15, 'sample_size': 2, 'timestamp': '2024-03-15T21:00:00', 'association_id': '65f44d04dbe192b552e752aa'},
        {'worth': 13, 'sample_size': 6, 'timestamp': '2024-03-15T20:00:00', 'association_id': '65f44d04dbe192b552e753bb'},
        {'worth': 17, 'sample_size': 2, 'timestamp': '2024-03-15T19:00:00', 'association_id': '65f44d04dbe192b552e754cc'})

custom_metric.submit_values(knowledge=knowledge)

Bài học cuối cùng

Bảo vệ mô hình của bạn bằng các công cụ kiểm duyệt toàn diện của DataRobot không chỉ nâng cao tính bảo mật và quyền riêng tư mà còn đảm bảo quá trình triển khai của bạn hoạt động trơn tru và hiệu quả. Bằng cách sử dụng các tính năng bảo vệ nâng cao và các tùy chọn tùy chỉnh được cung cấp, bạn có thể điều chỉnh hệ thống kiểm duyệt của mình để đáp ứng các nhu cầu và thách thức cụ thể.

Các công cụ giám sát và kiểm tra chi tiết tiếp tục trao quyền cho bạn để duy trì quyền kiểm soát hiệu suất ứng dụng và tương tác của người dùng. Cuối cùng, bằng cách tích hợp các chiến lược kiểm duyệt mạnh mẽ này, bạn không chỉ bảo vệ các mô hình của mình—bạn còn duy trì sự tin cậy và tính toàn vẹn trong các giải pháp máy học của mình, mở đường cho các ứng dụng AI an toàn hơn, đáng tin cậy hơn.

Giới thiệu về tác giả

Aslihan Buner

Giám đốc tiếp thị sản phẩm cấp cao, Khả năng quan sát AI, DataRobot

Aslihan Buner là Giám đốc tiếp thị sản phẩm cấp cao về Khả năng quan sát AI tại DataRobot, nơi cô xây dựng và thực hiện chiến lược tiếp cận thị trường cho các sản phẩm LLMOps và MLOps. Cô hợp tác với các nhóm phát triển và quản lý sản phẩm để xác định các nhu cầu chính của khách hàng cũng như xác định và triển khai thông điệp cũng như định vị một cách chiến lược. Niềm đam mê của cô là nhắm mục tiêu vào các khoảng trống của thị trường, giải quyết các điểm yếu ở tất cả các ngành dọc và gắn chúng với các giải pháp.

Gặp gỡ Aslihan Buner

---

Kateryna Bozhenko

Giám đốc sản phẩm, Sản xuất AI, DataRobot

Kateryna Bozhenko là Giám đốc Sản phẩm Sản xuất AI tại DataRobot, với nhiều kinh nghiệm trong việc xây dựng các giải pháp AI. Với bằng cấp về Quản trị Y tế và Kinh doanh Quốc tế, cô rất nhiệt tình giúp đỡ người dùng làm cho các mô hình AI hoạt động hiệu quả nhằm tối đa hóa ROI và trải nghiệm sự kỳ diệu thực sự của sự đổi mới.

Gặp Kateryna Bozhenko