使用AutoDL 5090服务器做PEFT环境配置

AutoDL租用5090 32G, 90GB内存, 25核CPU只要3元/小时, 用来训练小模型或微调经济实惠. 由于服务器在中国, 记录一些使用过程中遇到的麻烦.

1. 推荐使用实例自带的JupiterLab访问环境, 掉线不会关ssh窗口.
2. 使用预置Python Library: 创建实例时可以选择预置Python环境, venv直接继承系统, 减少下载时间.
   • python3 -m venv .venv –system-site-packages
3. 自行安装Python Library: 推荐使用清华大学tuna源, 实测80MB/s. 实例控制台里也可以配置.
   • pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy
4. 运行时动态下载外网模型: 可以使用AutoDL提供的学术加速功能: source /etc/network_turbo
5. 上传自己的模型文件: AutoDL控制台能够连接夸克网盘下载文件, 实测服务器下载速度7MB/s. 外网上传夸克20MB/s
6. CUDA Toolkit没有加到环境变量, 找不到nvcc命令
   • export PATH=/usr/local/cuda-12.8/bin:$PATH
   • export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:${LD_LIBRARY_PATH:-}