[ad_1]
Hiệu suất trong thế giới thực trên các quy trình AI phổ biến cho thấy mức tiết kiệm chi phí lên tới 90% và hiệu quả năng lượng tốt hơn gấp 15 lần so với các máy chủ suy luận AI ngày nay
NeuThực tếcông ty dẫn đầu về công nghệ AI, đã công bố kết quả hoạt động đáng chú ý từ các sản phẩm thương mại sẵn có của nó. Thiết bị suy luận AI NR1-S™, giúp cắt giảm đáng kể chi phí và mức sử dụng năng lượng trong các trung tâm dữ liệu AI, mang lại giải pháp rất cần thiết cho mối lo ngại ngày càng tăng về chi phí cao và mức tiêu thụ năng lượng của AI. Khi các chính phủ, tổ chức môi trường và doanh nghiệp đưa ra cảnh báo về mức tiêu thụ năng lượng không bền vững và chi phí cắt cổ của AI, bước đột phá của NeuReality đến vào thời điểm quan trọng với sự phát triển bùng nổ của AI thế hệ. Giải pháp NR1-S cung cấp một lựa chọn có trách nhiệm và giá cả phải chăng cho 65% doanh nghiệp và chính phủ toàn cầu và 75% Hoa Kỳ đang gặp khó khăn trong việc áp dụng AI ngày nay.
NR1-S không cạnh tranh với GPU hoặc các bộ tăng tốc AI khác mà chỉ tăng sản lượng và bổ sung cho chúng. Kết quả được công bố của NeuReality so sánh thiết bị suy luận NR1-S được ghép nối với bộ tăng tốc Qualcomm® Cloud AI 100 Extremely và Professional với các máy chủ suy luận tập trung vào CPU truyền thống có GPU Nvidia® H100 hoặc L40S. NR1-S đạt được mức tiết kiệm chi phí và hiệu quả năng lượng được cải thiện đáng kể trong các trung tâm dữ liệu AI trên các ứng dụng AI phổ biến so với các hệ thống tập trung vào CPU hiện đang được các nhà cung cấp dịch vụ đám mây quy mô lớn (hyperscaler), OEM máy chủ và nhà sản xuất như Nvidia tin cậy.
Lợi ích chính từ hiệu suất NR1-S
Theo một blog kỹ thuật được chia sẻ trên Medium sáng nay, kết quả hoạt động trong thế giới thực của NeuReality cho thấy những cải tiến sau:
- Tiết kiệm chi phí lớn: Khi kết hợp với AI 100 Extremely, NR1-S tiết kiệm tới 90% chi phí đối với nhiều loại dữ liệu AI khác nhau, chẳng hạn như hình ảnh, âm thanh và văn bản. Đây là những nền tảng chính cho AI tổng quát, bao gồm các mô hình ngôn ngữ lớn, hỗn hợp các chuyên gia (MoE), thế hệ tăng cường truy xuất (RAG) và đa phương thức.
- Hiệu quả năng lượng quan trọng: Bên cạnh việc tiết kiệm chi phí vốn (CAPEX) cho các trường hợp sử dụng AI, NR1-S còn cho thấy hiệu quả sử dụng năng lượng tốt hơn tới 15 lần so với các hệ thống lấy CPU truyền thống làm trung tâm, giúp giảm hơn nữa chi phí vận hành (OPEX).
- Sử dụng bộ tăng tốc AI tối ưu: Không giống như các hệ thống lấy CPU làm trung tâm truyền thống, NR1-S đảm bảo sử dụng 100% các bộ tăng tốc AI tích hợp mà không làm giảm hoặc trì hoãn hiệu suất như thường thấy trong các hệ thống phụ thuộc vào CPU ngày nay.
Tác động quan trọng đối với các ứng dụng AI trong thế giới thực ngày càng phát triển
Dữ liệu hiệu suất bao gồm các số liệu chính như truy vấn AI trên mỗi đô la, truy vấn trên mỗi watt và tổng chi phí của 1 triệu truy vấn (cả CAPEX và OPEX). Vùng dữ liệu về xử lý ngôn ngữ tự nhiên (NLP), nhận dạng giọng nói tự động (ASR) và thị giác máy tính (CV) thường được sử dụng trong hình ảnh y tế, phát hiện gian lận, trung tâm cuộc gọi khách hàng, trợ lý trực tuyến và hơn thế nữa:
- Hiệu quả chi phí: Một trong những thử nghiệm ASR cho thấy NR1-S cắt giảm chi phí xử lý 1 triệu giây âm thanh từ 43 xu xuống chỉ còn 5 xu, giúp bot thoại và các ứng dụng NLP dựa trên âm thanh khác có giá cả phải chăng hơn và có khả năng xử lý nhiều thông tin hơn cho mỗi truy vấn.
- Tiết kiệm năng lượng: Các thử nghiệm cũng đo mức tiêu thụ năng lượng, trong đó ASR hiển thị bảy giây xử lý âm thanh trên mỗi watt với NR1-S, so với 0,7 giây trong các hệ thống lấy CPU truyền thống làm trung tâm. Điều này có nghĩa là hiệu suất sử dụng năng lượng tăng gấp 10 lần.
- Khả năng mở rộng tuyến tính: NR1-S thể hiện hiệu suất đầu ra như nhau bất kể số lượng bộ tăng tốc AI được sử dụng, cho phép khách hàng mở rộng quy mô cơ sở hạ tầng AI của mình lên hoặc xuống một cách hiệu quả mà không bị giảm hiệu suất. Điều này đảm bảo lợi tức đầu tư tối đa mà không bị giảm lợi nhuận thường do thêm nhiều GPU hoặc bộ tăng tốc khác vào các máy chủ tập trung vào CPU.
NR1-S cung cấp giải pháp thực tế cho các doanh nghiệp và chính phủ muốn áp dụng AI mà không phải tốn kém hoặc quá tải lưới điện. Nó hỗ trợ nhiều ứng dụng AI thường được sử dụng trong các lĩnh vực dịch vụ tài chính, chăm sóc sức khỏe, công nghệ sinh học, giải trí, sáng tạo nội dung, chính phủ, an toàn công cộng và giao thông vận tải.
Những kết quả về hiệu suất trong thế giới thực này cung cấp một giải pháp đáng hoan nghênh cho cuộc khủng hoảng năng lượng mà các nhà cung cấp cơ sở hạ tầng AI và siêu máy tính của siêu máy tính thế hệ tiếp theo đang phải đối mặt. Ilan Avital, Giám đốc R&D của NeuReality cho biết: “Trong khi GPU ngày càng nhanh hơn thúc đẩy sự đổi mới về khả năng AI mới, thì các hệ thống hiện tại hỗ trợ chúng cũng khiến chúng ta ngày càng rời xa mục tiêu ngân sách và giảm lượng carbon của hầu hết các công ty”. “NR1-S của chúng tôi được thiết kế để đảo ngược xu hướng đó, cho phép phát triển AI bền vững mà không làm giảm hiệu suất.”
Moshe Tanach, đồng sáng lập và Giám đốc điều hành NeuReality cho biết: “Khi ngành công nghiệp tiếp tục chạy đua về phía trước với sự tập trung hẹp vào hiệu suất thô cho các mô hình AI lớn nhất, mức tiêu thụ năng lượng và chi phí tiếp tục tăng vọt”. “Công nghệ NR1-S cho phép khách hàng của chúng tôi mở rộng quy mô ứng dụng AI với chi phí hợp lý và bền vững, đảm bảo họ có thể đạt được các mục tiêu kinh doanh và mục tiêu về môi trường. NeuReality được xây dựng ngay từ đầu để giải quyết vấn đề chi phí và năng lượng trong suy luận AI và dữ liệu mới của chúng tôi cho thấy rõ ràng rằng chúng tôi đã phát triển một giải pháp khả thi. Đó là một bước tiến thú vị cho ngành công nghiệp AI.”
Đăng ký nhận tin tức InsideAI miễn phí bản tin.
Tham gia với chúng tôi trên Twitter: https://twitter.com/InsideBigData1
Tham gia với chúng tôi trên LinkedIn: https://www.linkedin.com/company/insidebigdata/
Tham gia cùng chúng tôi trên Fb: https://www.facebook.com/insideAI NewsNOW
[ad_2]
Source link