Qwen3.5-9B部署实操：从nvidia-smi确认GPU可用到Model loaded成功

Qwen3.5-9B部署实操从nvidia-smi确认GPU可用到Model loaded成功1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解图文输入和长上下文处理最高可达128K tokens是当前开源模型中的佼佼者。2. 环境准备2.1 硬件要求在开始部署前请确保你的服务器满足以下硬件要求GPU至少24GB显存的NVIDIA显卡如A10G、A100等内存建议64GB以上存储至少50GB可用空间模型文件约19GB2.2 软件环境本项目基于以下环境搭建Python3.9Conda环境torch28深度学习框架PyTorch 2.8.0Web界面Gradio 6.x进程管理Supervisor3. 部署步骤3.1 确认GPU可用性首先我们需要确认GPU是否可用nvidia-smi如果命令执行成功并显示GPU信息说明GPU驱动已正确安装。3.2 创建Conda环境conda create -n torch28 python3.9 conda activate torch28 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.03.3 下载模型文件模型文件较大约19GB建议使用huggingface_hub下载from huggingface_hub import snapshot_download snapshot_download(repo_idQwen/Qwen3.5-9B, local_dir/root/ai-models/Qwen/Qwen3.5-9B)3.4 项目结构准备创建项目目录并准备必要文件/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录4. 服务配置4.1 Supervisor配置创建Supervisor配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf[program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue4.2 启动脚本创建启动脚本/root/qwen3.5-9b/start.sh#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py记得给脚本添加执行权限chmod x /root/qwen3.5-9b/start.sh5. 服务管理5.1 常用命令# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b # 查看实时日志 tail -f /root/qwen3.5-9b/service.log5.2 服务启动更新Supervisor配置并启动服务supervisorctl reread supervisorctl update supervisorctl start qwen3.5-9b6. 功能验证6.1 访问Web界面服务启动后可以通过以下地址访问本地访问: http://localhost:7860网络访问: http://服务器IP:78606.2 功能测试文本对话测试在输入框输入问题点击Send或按回车等待模型回复图片分析测试在右侧Upload Image上传图片在输入框描述你想问的问题如这张图片里有什么点击Send7. 常见问题排查7.1 模型加载慢/卡住模型文件较大首次加载可能需要2-3分钟。可以通过以下命令检查加载进度grep Loading weights /root/qwen3.5-9b/service.log7.2 端口被占用如果7860端口被占用可以修改app.py中的端口号或释放该端口# 检查端口占用 ss -tlnp | grep 7860 # 查看哪个进程占用 lsof -i :78607.3 图片上传无响应可能原因及解决方法图片格式不支持尝试转换为PNG/JPEG格式图片文件损坏重新上传或更换图片网络请求超时尝试较小尺寸的图片8. 日常维护8.1 清理对话历史rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b8.2 日志管理# 备份当前日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak # 清空日志 /root/qwen3.5-9b/service.log9. 总结通过本文的详细步骤你应该已经成功部署了Qwen3.5-9B模型并验证了其功能。这个强大的开源模型可以用于多种场景包括智能对话、代码生成和图片理解等。如果在部署过程中遇到任何问题可以参考本文的故障排查部分或查看服务日志获取更多信息。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。