GPUStack新手教程: 组建GPU集群运行大模型（下）

作为平台管理员你可以以管理员的角色登录到GPUStack并导航到菜单中的资源在这里查看你当前的 GPU 资源状态和容量。然后你可以导航到模型将任何开源的大模型部署到你的 GPU 集群中。这使得平台管理员可以快速在任意 GPU 之上运行大模型并向普通用户提供大模型服务以便集成到他们的应用程序中。这种方法可以帮助你有效地利用现有的资源为各种需求和场景提供私有的大模型服务。1. 访问 GPUStack在模型中部署你需要的大模型选择从 Hugging Face 注意当前仅支持 GGUF 格式的模型文件或 Ollama Library 下载模型文件到本地并运行大模型2. GPUStack 会自动将模型调度到适当的 Worker 上运行3. 你可以查看大模型服务的 API 请求、Token 使用量、Token 吞吐量、资源利用状态和其他指标。这些指标可以有效地帮助你决定是否要对大模型进行扩容或升级以确保大模型服务的稳定性。集成到你的应用中作为一个 AI 应用开发人员你可以以普通用户的角色登录到GPUStack并导航到菜单中的试验场你可以在这里通过 UI 跟大模型进行交互。下一步你可以访问到API 秘钥生成并保存你的 API 秘钥。然后回到试验场在这里自定义你的大模型例如调整系统 prompt添加小样本学习样例或调整 prompt 参数。当你完成了自定义设置点击查看代码选择你期望的调用代码格式curl, Python, Node.js并加入之前的 API 秘钥然后在你的应用中使用这段调用代码来让应用与你的私有大模型通信。现在你已经可以访问 OpenAI 兼容的大模型 API。例如通过 curl 访问的示例如下export GPUSTACK_API_KEYmyapikeycurl http://myserver/v1-openai/chat/completions \-H Content-Type: application/json \-H Authorization: Bearer $GPUSTACK_API_KEY \-d {model: llama3,messages: [{role: system,content: You are a helpful assistant.},{role: user,content: Hello!}],stream: true}管理 GPUStack 服务MacOS 系统在 MacOS 中GPUStack 作为launchd 服务运行。可以使用launchctl来管理 GPUStack 服务:查看服务配置sudo launchctl print system/ai.gpustack停止服务sudo launchctl unload /Library/LaunchDaemons/ai.gpustack.plistps -ef | grep gpustack启动服务sudo launchctl load /Library/LaunchDaemons/ai.gpustack.plistps -ef | grep gpustack编辑配置并重启服务sudo launchctl unload /Library/LaunchDaemons/ai.gpustack.plistsudo vim /Library/LaunchDaemons/ai.gpustack.plistsudo launchctl load /Library/LaunchDaemons/ai.gpustack.plistps -ef | grep gpustack查看日志查看 GPUStack 日志的路径和命令如下:tail -200f /var/log/gpustack.log卸载运行以下命令卸载 GPUStack:/var/lib/gpustack/uninstall.shLinux 系统在 Linux 中GPUStack 作为systemd 服务运行。可以使用systemctl来管理 GPUStack 服务:查看服务配置sudo cat /etc/systemd/system/gpustack.service停止服务sudo systemctl stop gpustackps -ef | grep gpustack启动服务sudo systemctl start gpustackps -ef | grep gpustack编辑配置并重启服务sudo vim /etc/systemd/system/gpustack.servicesudo systemctl daemon-reloadsudo systemctl restart gpustackps -ef | grep gpustack查看日志查看 GPUStack 日志的路径和命令如下:tail -200f /var/log/gpustack.log卸载运行以下命令卸载 GPUStack:/var/lib/gpustack/uninstall.sh