Amazon Bedrock AgentCore Evaluations 的关键变化,是把评估器统一到同一套使用体系中。开发者不仅可以使用 AWS 内置评估器,还能直接调用 DeepEval 与 AutoEval 的托管评估器,或以内置、第三方评估器为基础创建派生评估器。AWS 表示,内置评估器经过其编写和质量测试;第三方托管模式则由 AgentCore 承载代码、选择裁判模型并执行推理。三种来源的评估器均可用于按需、在线和批量评估。
从业务结果反推评估项
评估不应从指标名称出发,而应先回答两个问题:业务上的成功是什么,以及会话轨迹中什么行为能够证明它已经发生。例如,客服智能体的成功可能是一次会话内解决问题;研究智能体则可能要求答案完整、来源可靠,并且工具调用路径符合预期。
- Trace 级评估:检查单轮回答、工具选择、参数准确性、技能选择及指令遵循。
- Session 级评估:衡量只有查看完整会话才能判断的结果,例如目标是否达成、上下文是否丢失。
一个指标可能掩盖另一种失败。客服即使解决了工单,回复中仍可能泄露个人信息,因此完成率不能替代隐私检测。
三类评估器如何选择
- AWS 内置评估器:覆盖回答质量、任务与目标完成、工具使用、技能调用和安全等类别。常见指标包括 Correctness、Faithfulness、GoalSuccessRate、ToolParameterAccuracy、SkillInstructionFollowing、Harmfulness,以及 Exact、In-Order、Any-Order 三种轨迹匹配方式。
- DeepEval:提供 TaskCompletion、ConversationCompleteness、KnowledgeRetention、PIILeakage、Toxicity、Bias 等指标,适合关注多轮对话完整性与工具使用的智能体。
- AutoEval:提供 Security、Possible、Humor 等更专门的信号。Security 可识别提示词注入或泄露系统提示等恶意输出,Possible 则用于识别过度谨慎、错误宣称任务无法完成的情况。
- 自定义派生评估器:可以更换执行模型,或修改提示词与评分规则。
开发前可调用 ListEvaluators API,一次获取内置、DeepEval、AutoEval 评估器以及当前账户中的自定义评估器。
多维评估器适合独立失败标准
当“准确但不合规”“已解决但不礼貌”等结果需要分别判断时,可以创建多维 LLM 裁判。裁判一次读取轨迹,为每个维度独立评分,并返回逐项结果,不生成综合分数。这样可以分别设置发布门槛,避免语气改善掩盖合规回退。
不过,多维评估器中的维度必须能够依据同一份证据判断,并共享评估层级和裁判模型。已有内置或第三方指标可以继续单独使用;需要参考答案、断言或预期轨迹的标准,以及需要不同层级或模型的维度,也不应强行合并。
按场景组织评估栈
- 客服智能体:可从 GoalSuccessRate、ConversationCompleteness 和 PIILeakage 开始。
- 多步骤研究智能体:可组合 GoalAccuracy、KnowledgeRetention 与需要真实答案的 TrajectoryAnyOrderMatch。
- 医疗、法律、金融等内容:可使用需要参考依据的 Correctness,并结合 PIILeakage 与 AutoEval.Security。
三种运行方式与边界
- 按需评估:在开发或调试阶段直接传入会话,所有评估器均可使用。
- 在线评估:连接线上智能体运行时,按配置比例抽取真实流量,用于持续观察生产表现。
- 批量评估:针对固定会话集运行评估器栈,可用于发布前的黄金数据集回归测试。
依赖参考答案、断言或预期路径的指标只能在批量评估中运行,因为在线流量通常没有这些真实依据。三种模式使用相同的评估器 ID,因此从开发测试切换到在线监控,主要是配置调整,而不是重新实现评估逻辑。
资料来源:The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations(2026-11-10)。
一起聊聊
留下你的想法,评论审核通过后展示。