← 返回文章列表

借助 NVIDIA NeMo Switchyard,将编码智能体请求路由至 Amazon Bedrock 上的合适模型

据 AWS 官方资料(2026-11-13),这套方案使用开源 NVIDIA NeMo Switchyard,为编码智能体的逐次请求选择合适模型。评估重点不是单次调用的 token 价格,而是“每个已解决任务的总成本”,即所有运行费用除以测试通过的运行数。该资料未提供降本比例、通过率或延迟实测结果,因此不能据此宣称固定收益。 路由机制:从固定模型切换为动态选

文章封面

据 AWS 官方资料(2026-11-13),这套方案使用开源 NVIDIA NeMo Switchyard,为编码智能体的逐次请求选择合适模型。评估重点不是单次调用的 token 价格,而是“每个已解决任务的总成本”,即所有运行费用除以测试通过的运行数。该资料未提供降本比例、通过率或延迟实测结果,因此不能据此宣称固定收益。

路由机制:从固定模型切换为动态选模

示例在 LiteLLM 中建立名为 switchyard 的模型组,客户端仍发送 OpenAI 兼容请求。Stage 路由读取请求历史中的工具活动和执行结果,并按候选顺序区分“能力优先”与“成本效率优先”,不会额外调用裁判模型。默认配置采用 efficient_first、置信度阈值 0.5,并检查最近 3 条工具结果;尚无工具结果的新请求会先交给效率候选。

Random 路由则从至少两个候选中按权重随机选择,示例权重为 0.5 和 0.5,适合流量拆分与 A/B 比较。候选由 Amazon Bedrock 上的 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B 组成。资料称该组合已在 us-east-1 测试,其他区域仍需核对模型可用性和工具调用支持。实际应答模型可通过 x-litellm-model-name 响应头识别,响应正文中的模型名仍为 switchyard。

部署结构与访问边界

  • AWS CDK 将 LiteLLM 与 Switchyard 插件构建为同一容器,部署在 Amazon ECS Fargate 的私有子网中。
  • 负载均衡器仅放行 /v1/chat/completions、/v1/models 和健康检查路径,其他路径返回 404;WAF 提供信誉、恶意输入及按 IP 限流规则。
  • 模型调用通过 Amazon Bedrock Converse 或 ConverseStream API,经 VPC 接口端点发送,由任务 IAM 角色提供凭证。
  • 网关密钥保存在 AWS Secrets Manager;CloudWatch Logs 保存 30 天日志,Container Insights 收集运行指标。

如何比较路由与单模型基线

示例同时提供两个单模型组,与路由组运行在同一个部署中。基准测试应使用自身工作负载,分别统计总费用、测试通过数和完整对话成本,再计算每次成功解决任务的成本。官方材料在这里提供的是评估方法,而不是已经验证的成本结论。

适用场景

该方案主要面向需要多轮工具调用、模型调用次数波动较大的编码智能体,也适合希望比较两个模型质量、效率与任务完成成本的团队。对于固定模型、固定流程且已充分优化的场景,动态路由未必能带来额外价值,仍应以实际基准结果决定是否采用。

当前限制与上线注意事项

  • 集成仍属实验功能。示例固定使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0;NVIDIA 将前者定位为演示与评估组件,配置和接口可能随版本变化。
  • Stage 必须恰有两个候选,Random 至少需要两个;需要中间模型调用的 Task、Composite 等分类器策略不受当前集成支持。
  • 全局跨区域推理配置可能在美国商业区域处理请求;涉及数据驻留时,应改用地理配置或区域内模型。
  • 示例仅限非生产使用。部署前应完成安全与合规审查,检查派生 IAM 策略,并将访问范围限制到获准的 IPv4 CIDR;凭据不得写入模型配置文件。

资料来源:Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard(2026-11-13)。

相关文章

Azure AI Speech LLM 09-2026 正式发布:语言区域支持范围得到进一步扩大CUDA 二十周年:这个平台如何改变科学计算Duco 如何利用 Amazon Bedrock AgentCore 革新金融数据自动化使用 Amazon Bedrock 托管知识库的 Agentic Retrieve 构建具备记忆能力的 AI 智能体

一起聊聊

留下你的想法,评论审核通过后展示。

想进一步了解?

留下需求和联系方式,我们会就本次咨询与你联系。

本站使用有效期 180 天的随机浏览器标识统计访问与阅读情况,并记录访问 IP 及其大致所属地区,仅管理员可见;浏览器启用“请勿跟踪”时停止访问采集。