How to Install Nvidia diver in Rocky10

Prepare the system

• OS: Rocky10

• GPU: Nvidia RTX Pro 6000 blackwell Ada(96 GB)

• Nvidia Driver: 595.71.05

• Cuda Toolkit: 13.2

• Docker

VM setting

1. ตรวจสอบว่า VM เห็น GPU

lspci | grep -i nvidia

ต้องเห็น NVIDIA Corporation Device 2bb5 (RTX PRO 6000 Blackwell)

1. Nvidia Driver Installation

dnf install kernel-devel-matched kernel-headers

1. Repository Installation

• Enable the network repository:

dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$distro/$arch/cuda-$distro.repo

• Clean DNF repository cache:

dnf clean expire-cache

1. DNF module enablement

dnf module enable nvidia-driver:open-dkms

Driver Installation

• Open kernel modules

dnf install -y nvidia-open

• nvidia-container-toolkit and cuda-toolkit installation

dnf install -y nvidia-container-toolkit
dnf install -y cuda-toolkit
reboot

• verify nvidia driver and contailner

ถ้าหากไม่ขึ้น driver หรือคำสั่ง nvidia-smi ไม่สามารถใช้งานได้ ให้ทำการ reboot vm

nvidia-smi
docker run --gpus all --rm nvcr.io/nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi

ทดสอบกับ container How to using vGPU with container