据 AWS 官方资料(2026-11-13),这套方案使用开源 NVIDIA NeMo Switchyard,为编码智能体的逐次请求选择合适模型。评估重点不是单次调用的 token 价格,而是“每个已解决任务的总成本”,即所有运行费用除以测试通过的运行数。该资料未提供降本比例、通过率或延迟实测结果,因此不能据此宣称固定收益。
路由机制:从固定模型切换为动态选模
示例在 LiteLLM 中建立名为 switchyard 的模型组,客户端仍发送 OpenAI 兼容请求。Stage 路由读取请求历史中的工具活动和执行结果,并按候选顺序区分“能力优先”与“成本效率优先”,不会额外调用裁判模型。默认配置采用 efficient_first、置信度阈值 0.5,并检查最近 3 条工具结果;尚无工具结果的新请求会先交给效率候选。
Random 路由则从至少两个候选中按权重随机选择,示例权重为 0.5 和 0.5,适合流量拆分与 A/B 比较。候选由 Amazon Bedrock 上的 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B 组成。资料称该组合已在 us-east-1 测试,其他区域仍需核对模型可用性和工具调用支持。实际应答模型可通过 x-litellm-model-name 响应头识别,响应正文中的模型名仍为 switchyard。
部署结构与访问边界
- AWS CDK 将 LiteLLM 与 Switchyard 插件构建为同一容器,部署在 Amazon ECS Fargate 的私有子网中。
- 负载均衡器仅放行
/v1/chat/completions、/v1/models和健康检查路径,其他路径返回 404;WAF 提供信誉、恶意输入及按 IP 限流规则。 - 模型调用通过 Amazon Bedrock Converse 或 ConverseStream API,经 VPC 接口端点发送,由任务 IAM 角色提供凭证。
- 网关密钥保存在 AWS Secrets Manager;CloudWatch Logs 保存 30 天日志,Container Insights 收集运行指标。
如何比较路由与单模型基线
示例同时提供两个单模型组,与路由组运行在同一个部署中。基准测试应使用自身工作负载,分别统计总费用、测试通过数和完整对话成本,再计算每次成功解决任务的成本。官方材料在这里提供的是评估方法,而不是已经验证的成本结论。
适用场景
该方案主要面向需要多轮工具调用、模型调用次数波动较大的编码智能体,也适合希望比较两个模型质量、效率与任务完成成本的团队。对于固定模型、固定流程且已充分优化的场景,动态路由未必能带来额外价值,仍应以实际基准结果决定是否采用。
当前限制与上线注意事项
- 集成仍属实验功能。示例固定使用
switchyard-server 0.3.0和 LiteLLMv1.102.0;NVIDIA 将前者定位为演示与评估组件,配置和接口可能随版本变化。 - Stage 必须恰有两个候选,Random 至少需要两个;需要中间模型调用的 Task、Composite 等分类器策略不受当前集成支持。
- 全局跨区域推理配置可能在美国商业区域处理请求;涉及数据驻留时,应改用地理配置或区域内模型。
- 示例仅限非生产使用。部署前应完成安全与合规审查,检查派生 IAM 策略,并将访问范围限制到获准的 IPv4 CIDR;凭据不得写入模型配置文件。
资料来源:Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard(2026-11-13)。
一起聊聊
留下你的想法,评论审核通过后展示。