deer-flow 2.0部署+调用本地大模型教程（基于vllm）

张开发
• 2026/4/5 19:04:13 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

deer-flow 2.0部署+调用本地大模型教程（基于vllm）
deer-flow部署调用本地大模型教程基于vllm部署deer-flow执行流程拉取最新代码gitclone https://github.com/bytedance/deer-flow切换到代码目录cddeer-flow配置环境makeinstall安装完成后执行makecheck显示如下配置启动配置文件makeconfig执行完会在根目录生成config.yaml文件修改配置文件将config.yaml中models部分替换成自己部署的模型models: - name: local-vllm display_name: Local vLLM use: langchain_openai:ChatOpenAI model: qwen3 api_key: dummy_key base_url: http://your-vllm-host:port/v1启动服务makestart启动成功显示如下vllm部署本地大模型以qwen3-8B 为例显存占用44G执行流程安装vllmpipinstall-Uvllm\--pre\--extra-index-url https://wheels.vllm.ai/nightly下载qwen3-8B模型exportHF_ENDPOINThttps://hf-mirror.com huggingface-cli download --resume-download Qwen/Qwen3-8B --local-dir qwen3注意–local-dir名字和后面的服务启动deer-flow配置相关启动服务vllm serve qwen3--port8866--max_model_len16384--reasoning-parser deepseek_r1 --enable-auto-tool-choice --tool-call-parser hermes注意–max_model_len 必须设置否则在deer-flow调用时会报400bad request部署完并调用成功界面如下如有疑问欢迎评论区交流

更多文章