[ad_1]
Có tính năng tích hợp gốc mới với hệ sinh thái Python và quản lý bộ nhớ đệm mở rộng
Alluxionhà phát triển nền tảng dữ liệu nguồn mở, đã công bố tính khả dụng ngay lập tức của các cải tiến mới nhất trong Alluxio Enterprise AI. Phiên bản 3.2 giới thiệu khả năng sử dụng tài nguyên GPU phổ biến của nền tảng, cải thiện hiệu suất I/O và hiệu suất cạnh tranh toàn diện với bộ lưu trữ HPC. Nó cũng giới thiệu giao diện Python mới và các tính năng quản lý bộ nhớ đệm tinh vi. Những tiến bộ này trao quyền cho các tổ chức khai thác toàn bộ cơ sở hạ tầng AI của họ, đảm bảo hiệu suất cao nhất, hiệu quả về chi phí, tính linh hoạt và khả năng quản lý.
Khối lượng công việc AI phải đối mặt với một số thách thức, bao gồm sự không phù hợp giữa tốc độ truy cập dữ liệu và tính toán GPU, dẫn đến GPU không được sử dụng hết do tải dữ liệu chậm trong các khuôn khổ như Ray, PyTorch và TensorFlow. Alluxio Enterprise AI 3.2 giải quyết vấn đề này bằng cách nâng cao hiệu suất I/O và đạt được mức sử dụng GPU trên 97%. Ngoài ra, trong khi lưu trữ HPC cung cấp hiệu suất tốt, thì nó đòi hỏi phải đầu tư đáng kể vào cơ sở hạ tầng. Alluxio Enterprise AI 3.2 cung cấp hiệu suất tương đương khi sử dụng các hồ dữ liệu hiện có, loại bỏ nhu cầu về lưu trữ HPC bổ sung. Cuối cùng, việc quản lý các tích hợp phức tạp giữa tính toán và lưu trữ là một thách thức, nhưng bản phát hành mới đã đơn giản hóa điều này bằng giao diện hệ thống tệp Pythonic, hỗ trợ POSIX, S3 và Python, giúp các nhóm khác nhau dễ dàng áp dụng.
“Tại Alluxio, tầm nhìn của chúng tôi là cung cấp dữ liệu cho tất cả các ứng dụng dựa trên dữ liệu, bao gồm cả các ứng dụng AI tiên tiến nhất”, Haoyuan Li, Nhà sáng lập kiêm Tổng giám đốc điều hành của Alluxio cho biết. “Với sản phẩm AI Doanh nghiệp mới nhất của mình, chúng tôi có bước tiến đáng kể trong việc trao quyền cho các tổ chức khai thác toàn bộ tiềm năng của dữ liệu và khoản đầu tư AI của họ. Chúng tôi cam kết cung cấp các giải pháp tiên tiến giải quyết những thách thức đang phát triển trong bối cảnh AI, đảm bảo khách hàng của chúng tôi luôn đi đầu và khai thác giá trị thực sự của dữ liệu của họ”.
Alluxio Enterprise AI bao gồm các tính năng chính sau:
● Tận dụng GPU ở mọi nơi để có tốc độ và sự nhanh nhẹn – Alluxio Enterprise AI 3.2 trao quyền cho các tổ chức chạy khối lượng công việc AI ở bất kỳ nơi nào có GPU, lý tưởng cho môi trường đám mây lai và đa đám mây. Bộ nhớ đệm thông minh và quản lý dữ liệu của nó đưa dữ liệu đến gần GPU hơn, đảm bảo sử dụng hiệu quả ngay cả với dữ liệu từ xa. Không gian tên hợp nhất đơn giản hóa quyền truy cập trên các hệ thống lưu trữ, cho phép thực hiện AI liền mạch trong các môi trường đa dạng và phân tán, cho phép các nền tảng AI có thể mở rộng mà không có hạn chế về vị trí dữ liệu.
● Hiệu suất tương đương với lưu trữ HPC – Điểm chuẩn MLPerf cho thấy Alluxio Enterprise AI 3.2 phù hợp với hiệu suất lưu trữ HPC, sử dụng các tài nguyên information lake hiện có. Trong các thử nghiệm như BERT và 3D U-Web, Alluxio cung cấp hiệu suất đào tạo mô hình tương đương trên nhiều cấu hình GPU A100, chứng minh khả năng mở rộng và hiệu quả của nó trong môi trường sản xuất thực tế mà không cần cơ sở hạ tầng lưu trữ HPC bổ sung.
● Hiệu suất I/O cao hơn và sử dụng GPU 97%+ – Alluxio Enterprise AI 3.2 nâng cao hiệu suất I/O, đạt thông lượng lên đến 10GB/giây và 200K IOPS với một máy khách duy nhất, mở rộng lên hàng trăm máy khách. Hiệu suất này bão hòa hoàn toàn 8 GPU A100 trên một nút duy nhất, cho thấy mức sử dụng GPU hơn 97% trong các điểm chuẩn đào tạo mô hình ngôn ngữ lớn. Hỗ trợ đọc/ghi điểm kiểm tra mới tối ưu hóa các công cụ đề xuất đào tạo và các mô hình ngôn ngữ lớn, ngăn chặn thời gian nhàn rỗi của GPU.
● API hệ thống tập tin mới cho các ứng dụng Python – Phiên bản 3.2 giới thiệu Alluxio Python FileSystem API, một triển khai FSPec, cho phép tích hợp liền mạch với các ứng dụng Python. Điều này mở rộng khả năng tương tác của Alluxio trong hệ sinh thái Python, cho phép các khuôn khổ như Ray dễ dàng truy cập vào các hệ thống lưu trữ cục bộ và từ xa.
● Quản lý bộ nhớ đệm nâng cao để tăng hiệu quả và kiểm soát – Phiên bản 3.2 cung cấp các tính năng quản lý bộ nhớ đệm nâng cao, giúp quản trị viên kiểm soát chính xác dữ liệu. API RESTful mới hỗ trợ quản lý bộ nhớ đệm liền mạch, trong khi bộ lọc bộ nhớ đệm thông minh tối ưu hóa việc sử dụng đĩa bằng cách lưu trữ dữ liệu nóng một cách có chọn lọc. Lệnh cache free cung cấp khả năng kiểm soát chi tiết, cải thiện hiệu quả bộ nhớ đệm, giảm chi phí và tăng cường tính linh hoạt trong quản lý dữ liệu.
“Phiên bản mới nhất của Alluxio Enterprise AI là một bước ngoặt đối với khách hàng của chúng tôi, mang lại hiệu suất, tính linh hoạt và dễ sử dụng vô track”, Adit Madan, Giám đốc Sản phẩm tại Alluxio cho biết. “Bằng cách đạt được hiệu suất tương đương với lưu trữ HPC và cho phép sử dụng GPU ở mọi nơi, chúng tôi không chỉ giải quyết những thách thức hiện tại – chúng tôi đang bảo vệ khối lượng công việc AI trong tương lai cho thế hệ cải tiến tiếp theo. Với sự ra mắt của Python FileSystem API, Alluxio trao quyền cho các nhà khoa học dữ liệu và kỹ sư AI tập trung vào việc xây dựng các mô hình đột phá mà không phải lo lắng về tình trạng tắc nghẽn truy cập dữ liệu hoặc hạn chế tài nguyên”.
khả dụng
Phiên bản Alluxio Enterprise AI 3.2 hiện đã có thể tải xuống ngay tại đây: https://www.alluxio.io/download/.
Đăng ký nhận tin tức insideAI miễn phí bản tin.
Tham gia cùng chúng tôi trên Twitter: https://twitter.com/InsideBigData1
Tham gia cùng chúng tôi trên LinkedIn: https://www.linkedin.com/company/insideainews/
Tham gia cùng chúng tôi trên Fb: https://www.facebook.com/insideAINEWSNOW
[ad_2]
Source link