← 返回文章列表

使用 Foundry Local 在设备端实现智能体编程

2026年11月5日,微软公布 Foundry Local 的设备端智能体编程方案。开发者可以在本机加载 Qwen3.8-27B,并通过 GitHub Copilot 的 BYOK(自带密钥)功能连接本地端点。具体变化不只是增加一个离线聊天入口:模型推理、代码上下文和工具调用可以在本地链路中完成。微软称,这种方式能让代码与上下文保留在当前设备上,并降低对云端

文章封面

2026年11月5日,微软公布 Foundry Local 的设备端智能体编程方案。开发者可以在本机加载 Qwen3.8-27B,并通过 GitHub Copilot 的 BYOK(自带密钥)功能连接本地端点。具体变化不只是增加一个离线聊天入口:模型推理、代码上下文和工具调用可以在本地链路中完成。微软称,这种方式能让代码与上下文保留在当前设备上,并降低对云端服务的依赖和推理成本。

本地推理链路的优化重点

据微软资料,Qwen3.8-27B 是该方案的主要优化目标。Foundry Local 基于 ONNX Runtime,对 NVIDIA GPU 上的预填充、解码、内存管理、长上下文处理和并发请求进行端到端优化。

  • 解码阶段采用 DFlash2 推测解码,并结合面向 NVIDIA SM121 架构调整的 CUDA 图融合和内核优化,以提高生成吞吐量。
  • 通过 INT4 权重处理、KV Cache 量化、嵌入内存共享和 CPU 卸载降低内存压力。4 位量化后的模型约为 18 GB。
  • 配备 24 GB 显存的消费级 GPU 可运行该模型,上下文窗口最高为 64K;32 GB 及以上显存可支持最高 262K,具体取决于模型和硬件配置。
  • 前缀缓存可复用已经计算过的上下文,连续批处理则用于提升多个请求并行时的资源利用率。

厂商公布的基准结果

微软发布了 Qwen3.8-27B 的四项基准成绩:Terminal Bench 2.1 为 73.0,SWE-bench Pro 为 61.7,NL2Repo-Bench 为 42.3,DeepSWE 1.1 为 42.2。这些数据属于厂商发布结果,不能直接视为所有代码库、硬件和提示词条件下的表现。

在性能对比中,微软使用同一份 4 位量化模型和真实 GitHub 问题数据集,对比 Foundry Local 与 llama.cpp,测试设备包括配备 32 GB 显存的 GeForce RTX 5090,以及配备 128 GB 统一内存的 DGX Spark。厂商称,Foundry Local 在所有受测提示长度下生成速度更快,优势在超过 131K Token 后进一步扩大。

适用场景与现实限制

本地部署更适合代码上下文需要保密、网络连接不稳定或希望控制推理开销的开发流程。仓库级代码分析、修改生成、工具执行和反复迭代都可以采用本地模型处理。复杂且高度依赖推理能力的问题,微软仍建议使用能力更强的云端模型,形成按任务切换的混合流程。

  • 当前步骤要求 NVIDIA GPU 至少具备 24 GB 显存;支持 Mac 和 AMD GPU 被列为后续扩展方向,并非当前已支持范围。
  • 本地模型的规模和推理能力通常弱于先进云端模型,优势更多体现在日常编码和针对性子任务。
  • NVIDIA 执行环境需要另行安装兼容的 CUDA 和 cuDNN;Windows 下还须正确配置 DLL 路径。

连接 GitHub Copilot 的步骤

该体验需要 Foundry Local CLI 0.13.0 或更高版本。可通过 WinGet 安装并确认版本:

winget install Microsoft.FoundryLocal
foundry --version

随后加载模型并查询本机端点:

foundry model load qwen3.8-27b
foundry server status

如果更新 PATH 时 Foundry Local 已在运行,可从新终端执行 foundry server restart。接着在 GitHub Copilot 中进入设置,选择“Model providers”并添加 Foundry Local,把本机查询到的 API 端点填入“Base URL”,再从目录添加 Qwen3.8-27B。返回模型选择器,将提供方切换为 Foundry Local 并选中该模型,即可通过 Copilot 使用本地端点。

资料来源:Bring Agentic Coding On-Device with Foundry Local(2026-11-05)。

相关文章

从Claude Code到DeepSeek Harness一套能验收的工作流豆包指令八大类型提示词合集Microsoft Foundry 最新动态|2026 年 10 月NVIDIA助力韩国AI生态发展,保障智能体AI安全

一起聊聊

留下你的想法,评论审核通过后展示。

想进一步了解?

留下需求和联系方式,我们会就本次咨询与你联系。

本站使用有效期 180 天的随机浏览器标识统计访问与阅读情况,并记录访问 IP 及其大致所属地区,仅管理员可见;浏览器启用“请勿跟踪”时停止访问采集。