大模型智能体与MCP(三) 使用ollama本地部署Deepseek R1 32B模型

张开发
• 2026/4/17 22:38:24 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

大模型智能体与MCP(三) 使用ollama本地部署Deepseek R1 32B模型
配置要求对于DeepSeek-R1 32B (4bit AWQ/GPTQ / 8bit) 的大模型而言推荐使用24G显存的显卡进行部署内存推荐32G硬盘空间建议60G以上本案例使用i9-13900k64G4090 24G进行部署。ollama安装和模型安装对于window系统可以直接进入官网进行安装注意修改模型路径到模型文件很大默认在C盘一般放在其他空间充足的位置对于Linux使用命令行进行安装# 1. 安装Ollama已装可跳过 curl -fsSL https://ollama.com/install.sh | sh # 2. 拉取主力模型DeepSeek-R1 32B 4bit ollama pull deepseek-r1:32b # 3. 查看已安装的模型 ollama list # 4. 运行测试 ollama run deepseek-r1:32b模型命令删除模:ollama rm 模型名复制模型改名:ollama cp 旧名 新名查看正在运行的模型ollama ps停止正在运行的模型ollama stop 模型名停止所有模型ollama stop --all允许局域网 / 远程访问Windows 执行一次即可setx OLLAMA_HOST 0.0.0.0从 Modelfile 创建自定义模型ollama create 新模型名 -f Modelfile显示某个模型的信息ollama show 模型名显示模型参数系统提示词等ollama show 模型名 --modelfile查看本地可用模型 APIcurl http://localhost:11434/api/tags对话 APIcurl http://localhost:11434/api/chat -d {\model\:\llama3.1:8b\,\messages\:[{\role\:\user\,\content\:\你好\}]}调用模型使用ChatOpenAI调用qwen模型不需要key注意base_url为服务器IP地址ollama默认端口为11434注意在服务器开放该端口访问模型全名需要与下载的模型名称一致llmChatOpenAI(modelqwen2.5-coder:14b,base_urlrhttp://192.168.2.108:11434/v1,temperature0)

更多文章