[ad_1]
Relic mới tích hợp với các vi dịch vụ suy luận NVIDIA NIM để giúp cung cấp các mô hình hiệu suất cao được tối ưu hóa cho GPU NVIDIA
Di tích mớinền tảng quan sát tất cả trong một dành cho mọi kỹ sư, đã thông báo rằng họ đang tích hợp nền tảng của mình với NVIDIA NIM các dịch vụ vi mô suy luận để giảm độ phức tạp và chi phí phát triển, triển khai và giám sát các ứng dụng AI tổng hợp (GenAI). Hiện nay, khách hàng có thể sử dụng Giám sát AI di tích mới để có được khả năng hiển thị toàn diện trên toàn bộ hệ thống AI cho các ứng dụng được xây dựng bằng NVIDIA NIM, tất cả đều có thiết lập đơn giản hóa và đồng thời đảm bảo bảo mật dữ liệu. Điều này bổ sung cho các tính năng bảo mật mạnh mẽ và tính dễ sử dụng của các mô hình tự lưu trữ của NVIDIA NIM, giúp tăng tốc quá trình phân phối ứng dụng AI tổng hợp. Cùng với nhau, Relic mới được tích hợp với NVIDIA NIM có thể giúp khách hàng áp dụng AI nhanh hơn và đạt được ROI nhanh hơn.
Khả năng quan sát là nhiệm vụ quan trọng để triển khai các mô hình hiệu suất cao, hiệu quả về chi phí
Các tổ chức đang nhanh chóng áp dụng AI sáng tạo để nâng cao trải nghiệm kỹ thuật số, tăng năng suất và tăng doanh thu. Gartner dự đoán rằng hơn 80% doanh nghiệp sẽ sử dụng GenAI hoặc triển khai ứng dụng GenAI vào năm 2026. Triển khai nhanh và ROI nhanh hơn là điều quan trọng để các tổ chức giành được lợi thế thị trường và Khả năng quan sát chính là chìa khóa. Nó cung cấp cái nhìn toàn diện, theo thời gian thực về ngăn xếp ứng dụng AI – trên các dịch vụ, cơ sở hạ tầng và lớp AI – để đảm bảo hoạt động hiệu quả, đáng tin cậy và tiết kiệm chi phí.
Giám đốc điều hành New Relic Ashan Willy cho biết: “Trong thị trường siêu cạnh tranh ngày nay, các tổ chức không thể chờ đợi nhiều năm để có được ROI AI. “Khả năng quan sát giải quyết vấn đề này bằng cách cung cấp khả năng hiển thị trên toàn bộ hệ thống AI. Chúng tôi đang tiên phong về khả năng quan sát AI bằng cách mở rộng nền tảng của mình để bao gồm các ứng dụng AI được xây dựng bằng NVIDIA NIM. Việc kết hợp công nghệ AI của NVIDIA với chuyên môn của chúng tôi về khả năng quan sát và APM mang lại cho doanh nghiệp lợi thế cạnh tranh trong cuộc đua AI.”
Giám đốc Phần mềm AI của NVIDIA, Amanda Saunders, cho biết: “Khi các doanh nghiệp chạy đua trong việc áp dụng AI sáng tạo, NVIDIA NIM có thể giúp các doanh nghiệp nhanh chóng triển khai các ứng dụng trong sản xuất”. “Sự tích hợp của New Relic với NVIDIA NIM cho phép các nhóm phát triển và CNTT tối ưu hóa các ứng dụng AI của họ bằng cách quan sát và phản hồi nhanh chóng những hiểu biết sâu sắc về hoạt động.”
Relic mới tăng tốc độ ROI nhanh hơn cho các ứng dụng AI được xây dựng bằng NVIDIA NIM
Các ứng dụng AI có thể làm phức tạp các nhóm công nghệ, làm tăng mối lo ngại về bảo mật và tốn kém. Giám sát AI Relic mới cung cấp cái nhìn toàn diện về ngăn xếp AI, cùng với các số liệu chính về thông lượng, độ trễ và chi phí trong khi vẫn đảm bảo quyền riêng tư dữ liệu. Nó cũng theo dõi các luồng yêu cầu trên các dịch vụ và mô hình để hiểu hoạt động bên trong của ứng dụng AI. Relic mới mở rộng khả năng giám sát chuyên sâu sang NVIDIA NIM, hỗ trợ nhiều mô hình AI bao gồm–Databricks DBRX, Gemma của Google, Llama 3 của Meta, Phi-3 của Microsoft, Mistral Massive và Mixtral 8x22B và Arctic của Snowflake. Điều này giúp các tổ chức triển khai các ứng dụng AI được xây dựng bằng NVIDIA NIM một cách tự tin, tăng tốc thời gian đưa sản phẩm ra thị trường và cải thiện ROI.
Các tính năng chính và trường hợp sử dụng để giám sát AI bao gồm:
- Khả năng hiển thị ngăn xếp AI đầy đủ: Phát hiện vấn đề nhanh hơn với chế độ xem toàn diện trên các ứng dụng, cơ sở hạ tầng dựa trên GPU NVIDIA, lớp AI, chất lượng phản hồi, số lượng mã thông báo và tín hiệu vàng APM.
- Thông tin chi tiết về dấu vết sâu sắc cho mọi phản hồi: Khắc phục các vấn đề về hiệu suất và chất lượng như sai lệch, độc tính và ảo giác bằng cách theo dõi toàn bộ vòng đời của phản hồi AI
- Kho mẫu: Dễ dàng tách biệt các vấn đề về hiệu suất, lỗi và chi phí liên quan đến mô hình bằng cách theo dõi các số liệu chính trên tất cả các vi dịch vụ suy luận NVIDIA NIM ở một nơi
- So sánh mô hình: So sánh hiệu suất của các vi dịch vụ suy luận NVIDIA NIM đang chạy trong sản xuất ở một chế độ xem duy nhất để tối ưu hóa việc lựa chọn mô hình dựa trên cơ sở hạ tầng và nhu cầu của người dùng.
- Hiểu biết sâu sắc về GPU: Phân tích các số liệu điện toán được tăng tốc quan trọng như mức sử dụng GPU, nhiệt độ và trạng thái hiệu suất; hiểu ngữ cảnh và giải quyết vấn đề nhanh hơn.
- Tăng cường bảo mật dữ liệu: Ngoài lợi thế bảo mật của mô hình tự lưu trữ của NVIDIA, Relic mới cho phép bạn loại trừ việc giám sát dữ liệu nhạy cảm (PII) trong các yêu cầu và phản hồi AI của bạn.
New Relic tăng cường hệ sinh thái tích hợp hơn 60 AI của mình với NVIDIA
Sự tích hợp này theo sau sự bổ sung gần đây của New Relic vào Hệ sinh thái đối tác AIOps của NVIDIA. Tận dụng khả năng điện toán tăng tốc của NVIDIA AI, New Relic kết hợp khả năng quan sát và AI để hợp lý hóa các hoạt động CNTT và tăng tốc đổi mới thông qua học máy và trợ lý AI tổng quát, New Relic AI. Relic mới cung cấp giải pháp quan sát toàn diện nhất với hơn 60 tích hợp AI bao gồm GPU NVIDIA và phần mềm Máy chủ suy luận NVIDIA Triton.
Đăng ký nhận tin tức InsideAI miễn phí bản tin.
Tham gia cùng chúng tôi trên Twitter: https://twitter.com/InsideBigData1
Tham gia với chúng tôi trên LinkedIn: https://www.linkedin.com/company/insidebigdata/
Tham gia cùng chúng tôi trên Fb: https://www.facebook.com/insideAI NewsNOW
[ad_2]
Source link