[ad_1]
HỌC SÂU VỚI NHIỀU GPU
Khi các mô hình Deep Studying (đặc biệt là LLM) ngày càng lớn hơn, nhu cầu về bộ nhớ GPU (VRAM) ngày càng tăng để phát triển và sử dụng chúng cục bộ. Xây dựng hoặc có được một máy nhiều GPU chỉ là phần đầu tiên của thử thách. Hầu hết các thư viện và ứng dụng chỉ sử dụng một GPU theo mặc định. Vì vậy, máy cũng cần có trình điều khiển phù hợp cùng với các thư viện có thể tận dụng thiết lập đa GPU.
Câu chuyện này cung cấp hướng dẫn về cách thiết lập máy Linux đa GPU (Nvidia) với các thư viện quan trọng. Điều này hy vọng sẽ giúp bạn tiết kiệm thời gian thử nghiệm và giúp bạn bắt đầu quá trình phát triển của mình.
Cuối cùng, các liên kết được cung cấp tới các thư viện nguồn mở phổ biến có thể tận dụng thiết lập đa GPU cho Deep Studying.
Mục tiêu
Thiết lập hệ thống Linux Multi-GPU với các thư viện cần thiết như CUDA Toolkit và PyTorch để bắt đầu với Deep Studying 🤖. Các bước tương tự cũng áp dụng cho một máy GPU.
Chúng tôi sẽ cài đặt 1) Bộ công cụ CUDA, 2) PyTorch và 3) Miniconda để bắt đầu với Deep Studying bằng cách sử dụng các khung như exllamaV2 và torchtune.
©️ Tất cả các thư viện và thông tin được đề cập trong câu chuyện này đều là nguồn mở và/hoặc có sẵn công khai.
Bắt đầu
Kiểm tra số lượng GPU được cài đặt trong máy bằng cách sử dụng nvidia-smi lệnh trong thiết bị đầu cuối. Nó sẽ in danh sách tất cả các GPU đã cài đặt. Nếu có sự khác biệt hoặc nếu lệnh không hoạt động, trước tiên hãy cài đặt trình điều khiển Nvidia cho phiên bản Linux của bạn. Hãy đảm bảo rằng nvidia-smi lệnh in danh sách tất cả các GPU được cài đặt trong máy của bạn như hiển thị ở trên.
Theo dõi trang này để cài đặt Trình điều khiển Nvidia nếu chưa thực hiện:
Cách cài đặt trình điều khiển NVIDIA trên Ubuntu 22.04 – Hướng dẫn Linux – Tìm hiểu cấu hình Linux– (Nguồn: linuxconfig.org)
Bước 1 Cài đặt CUDA-Toolkit
💡 Kiểm tra mọi thư mục CUDA hiện có tại usr/native/cuda-xx. Điều đó có nghĩa là phiên bản CUDA đã được cài đặt. Nếu bạn đã cài đặt bộ công cụ CUDA mong muốn (kiểm tra với nvcc lệnh trong terminal của bạn), vui lòng chuyển sang Bước 2.
Kiểm tra phiên bản CUDA cần thiết cho thư viện PyTorch bạn muốn: Bắt đầu cục bộ | PyTorch (Chúng tôi đang cài đặt Cài đặt CUDA 12.1)
Đi đến Tải xuống Bộ công cụ CUDA 12.1 | Nhà phát triển NVIDIA để nhận các lệnh Linux để cài đặt CUDA 12.1 (chọn phiên bản hệ điều hành của bạn và loại trình cài đặt “deb (cục bộ)” tương ứng).
Các lệnh đầu cuối cho trình cài đặt cơ bản sẽ xuất hiện theo các tùy chọn bạn đã chọn. Sao chép-dán và chạy chúng trong thiết bị đầu cuối Linux của bạn để cài đặt bộ công cụ CUDA. Ví dụ: đối với x86_64 Ubuntu 22, hãy chạy các lệnh sau bằng cách mở terminal trong thư mục tải xuống:
wget https://developer.obtain.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /and many others/apt/preferences.d/cuda-repository-pin-600
wget https://developer.obtain.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get replace
sudo apt-get -y set up cuda
⚠️Trong khi cài đặt bộ công cụ CUDA, trình cài đặt có thể nhắc cập nhật kernel. Nếu bất kỳ cửa sổ bật lên nào xuất hiện trong thiết bị đầu cuối để cập nhật kernel, hãy nhấn nút esc nút để hủy nó. Không cập nhật kernel trong giai đoạn này!— nó có thể làm hỏng trình điều khiển Nvidia của bạn ☠️.
Khởi động lại máy Linux sau khi cài đặt. Các nvcc lệnh vẫn không hoạt động. Bạn cần thêm cài đặt CUDA vào PATH. Mở .bashrc tập tin bằng trình chỉnh sửa nano.
nano /residence/$USER/.bashrc
Cuộn xuống cuối .bashrc tập tin và thêm hai dòng này:
export PATH="/usr/native/cuda-12.1/bin:$PATH"
export LD_LIBRARY_PATH="/usr/native/cuda-12.1/lib64:$LD_LIBRARY_PATH"
💡 Lưu ý rằng bạn có thể thay đổi cuda-12.1 sang phiên bản CUDA đã cài đặt của bạn, cuda-xx nếu cần trong tương lai, ‘xx’ sẽ là phiên bản CUDA của bạn.
Lưu các thay đổi và đóng trình chỉnh sửa nano:
To avoid wasting modifications - On you keyboard, press the next: ctrl + o --> save
enter or return key --> settle for modifications
ctrl + x --> shut editor
Đóng và mở lại thiết bị đầu cuối. Bây giờ nvcc--version lệnh sẽ in phiên bản CUDA đã cài đặt trong thiết bị đầu cuối của bạn.
Bước 2 Cài đặt Miniconda
Trước khi cài đặt PyTorch, tốt hơn hết bạn nên cài đặt Miniconda rồi cài đặt PyTorch bên trong môi trường Conda. Việc tạo môi trường Conda mới cho từng dự án cũng rất hữu ích.
Mở terminal trong thư mục Tải xuống và chạy các lệnh sau:
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh# provoke conda
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh
Đóng và mở lại thiết bị đầu cuối. Bây giờ conda lệnh sẽ hoạt động.
Bước 3 Cài đặt PyTorch
(Tùy chọn) — Tạo môi trường chung cư mới cho dự án của bạn. Bạn có thể thay thế <environment-name> với tên bạn chọn. Tôi thường đặt tên nó theo tên dự án của tôi. 💡 Bạn có thể dùng conda activate <environment-name> Và conda deactivate <environment-name> các lệnh trước và sau khi làm việc với dự án của bạn.
conda create -n <environment-name> python=3.11# activate the atmosphere
conda activate <environment-name>
Cài đặt thư viện PyTorch cho phiên bản CUDA của bạn. Các lệnh sau dành cho cuda-12.1 mà chúng tôi đã cài đặt:
pip3 set up torch torchvision torchaudio
Lệnh trên được lấy từ hướng dẫn cài đặt PyTorch – Bắt đầu cục bộ | PyTorch .
Sau khi cài đặt PyTorch, hãy kiểm tra số lượng GPU hiển thị cho PyTorch trong thiết bị đầu cuối.
python>> import torch
>> print(torch.cuda.device_count())
8
Điều này sẽ in số lượng GPU được cài đặt trong hệ thống (8 trong trường hợp của tôi) và cũng phải khớp với số lượng GPU được liệt kê trong nvidia-smi yêu cầu.
Viola! bạn đã sẵn sàng bắt đầu thực hiện các dự án Deep Studying sử dụng nhiều GPU 🥳.
1. 🤗 Để bắt đầu, bạn có thể sao chép một mô hình phổ biến từ ôm mặt:
2. 💬 Để suy luận (sử dụng mô hình LLM), sao chép và cài đặt exllamav2 trong một môi trường riêng biệt. Điều này sử dụng tất cả GPU của bạn để suy luận nhanh hơn: (Kiểm tra trang phương tiện của tôi để biết hướng dẫn chi tiết)
3. 👨🏫 Để tinh chỉnh hoặc đào tạo, bạn có thể sao chép và cài đặt ngọn đuốc. Làm theo hướng dẫn để full finetune hoặc lora finetune mô hình của bạn, tận dụng tất cả GPU của bạn: (Kiểm tra trang phương tiện của tôi để biết hướng dẫn chi tiết)
Hướng dẫn này hướng dẫn bạn cách thiết lập máy cần thiết cho deep studying đa GPU. Bây giờ bạn có thể bắt đầu làm việc trên bất kỳ dự án nào sử dụng nhiều GPU – như torchtune để phát triển nhanh hơn!
Giữ nguyên để biết thêm hướng dẫn chi tiết về exllamaV2 Và ngọn đuốc.
[ad_2]
Source link