GPU-versneld Jupyter Notebook

Jupyter Notebook is een moderne ontwikkelomgeving die veel gebruikt wordt voor machine learning en informatica. Met deze software kun je Python-code direct vanuit een webinterface uitvoeren en direct de resultaten zien. Er is echter één probleem: de code draait op de CPU. Als je wilt dat het op de GPU werkt, moet je een aparte virtuele omgeving maken. In deze handleiding laten we je zien hoe je dat doet.

Anaconda installeren

Begin met het installeren van de Anaconda Python-distributie, die tools bevat voor het beheren van virtuele omgevingen. Download het shellscript:

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

Maak dit script uitvoerbaar:

chmod a+x Anaconda3-2023.09-0-Linux-x86_64.sh

Voer de installatie uit:

./Anaconda3-2023.09-0-Linux-x86_64.sh

Tijdens het proces zal het systeem je vragen om de gebruikersovereenkomst te lezen en enkele installatiedetails te verduidelijken.

CUDA® installeren

De volgende stap is het installeren van de nieuwste versie van de NVIDIA® CUDA® Toolkit. Je kunt meer informatie vinden in onze stap-voor-stap handleiding CUDA® toolkit installeren in Linux. De eenvoudigste manier om dit te doen is door de volgende commando's uit te voeren. Haal een pinbestand op voor de CUDA® repository:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin

Plaats dit bestand in een standaard apt configuratiemap:

sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600

Download een lokale kopie van de CUDA® repository als een enkel DEB pakket:

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda-repo-ubuntu2204-12-3-local_12.3.2-545.23.08-1_amd64.deb

Installeer het gedownloade pakket:

sudo dpkg -i cuda-repo-ubuntu2204-12-3-local_12.3.2-545.23.08-1_amd64.deb

Maak een GPG sleutelpaar om te werken met een lokale CUDA® repository:

sudo cp /var/cuda-repo-ubuntu2204-12-3-local/cuda-*-keyring.gpg /usr/share/keyrings/

Update de pakketcache:

sudo apt-get update

Installeer de CUDA® toolkit met de standaard apt manager:

sudo apt-get -y install cuda-toolkit-12-3

Start de server opnieuw op:

sudo shutdown -r now

Maak opnieuw verbinding met de SSH-sessie met port forwarding. Je moet poort 8888 doorsturen naar localhost 127.0.0.1:8888. Kijk voor meer informatie naar dit artikel.

Creëer na het herstarten een aparte virtuele omgeving voor GPU-rekentaken:

conda create --name gpu_env python==3.8

Laten we extra pakketten installeren:

conda install -c anaconda tensorflow-gpu keras-gpu

Wees geduldig; dit kan tot 30 minuten duren. Nu zijn we klaar om de aangemaakte omgeving toe te voegen aan de beschikbare lijst.

python -m ipykernel install --user --name gpu_env --display-name "Python (GPU)"

Installeer Torch met CUDA-ondersteuning. Deze pakketten zijn nodig om de codevoorbeelden uit te voeren:

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118

Jupyter-notebook uitvoeren

Je kunt deze software met slechts één commando uitvoeren:

jupyter notebook

Open de webinterface met behulp van de weergegeven link en het token:

http://127.0.0.1:8888/?token=[put_your_own_token_from_console]

Test je installatie met een kleine code die de beschikbaarheid van CUDA® controleert:

import torch
torch.cuda.is_available()

Als alles in orde is, krijg je na het uitvoeren een True waarde. Je kunt ook alle gepresenteerde NVIDIA® GPU's weergeven:

import subprocess
def get_gpu_info():
    try:
        return subprocess.check_output("nvidia-smi --query-gpu=gpu_name --format=csv,noheader", shell=True).decode('utf-8')
    except Exception as e:
        print(f"Error: {str(e)}")
        return None
print(get_gpu_info())

Zie ook:

• StarCoder: uw lokale codeerhulp
• Open WebUI: Alles in één
• Hoe werkt Ollama