09.CUDA组件的常识

1.nvcc、cuda driver、cudatoolkit、cudnn

GPU程序开发，肯定会涉及到这些组件和安装。下边这个文章可以给大家答疑解惑。 显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么？ (opens new window)

2.CUDA版本不一致问题

通过triton或其他深度学习框架加载模型，有时候会遇到这个问题CUDA driver version is insufficient for CUDA runtime version，字面理解是cuda 驱动版本和运行版本不一致。如何解决呢？

3.资料

1.NVIDIA GPU 架构与 CUDA 算力 (opens new window) 2.根据LLM参数量估算显存/内存占用 (opens new window)