在 Amazon SageMaker AI 上通过知识蒸馏构建高效智能体

在 Amazon SageMaker AI 上构建购物智能体时，真正影响成本的不是最终答案的措辞，而是一次任务中的多轮模型调用。依据 2026 年 11 月 2 日的官方实践，示例先用 Amazon Bedrock 上的 GLM-5.3 生成购物任务轨迹，再训练 Qwen3.5-4B 学生模型承接在线推理，让搜索、筛选、校验和推荐等环节由更小的模型完成。

SeqKD 改变了模型的哪些能力传递方式

序列级知识蒸馏（SeqKD）不复制教师模型的权重、logits 或完整输出分布，而是把教师生成的文本直接作为监督微调目标。对于智能体，这段文本不是一段普通回答，而是一条包含推理、工具调用和环境观察的多步轨迹。学生模型逐步学习在已有上下文下应当采取什么行动。

编码时，一条轨迹会被拆成多条训练样本：已有对话和工具观察放入用户消息，当前步骤的推理与工具调用放入助手消息，损失仅计算助手部分。这样既能保留任务上下文，又能明确训练模型“下一步该做什么”。

哪些场景更适合采用 SeqKD

• 有输入但缺少高质量标签：教师负责生成答案或多步轨迹，适合缺少人工标注数据的任务。
• 教师只能通过 API 使用：无法读取权重或 logits 时，SeqKD 仍可实施，也不要求搭建强化学习基础设施。
• 希望先建立低成本版本：它可以作为小模型能力迁移的起点，但能否达到教师水平仍取决于数据质量与任务分布。

官方示例如何构建训练流程

1. 生成并筛选轨迹：官方示例使用 ShoppingBench 的 750 个合成购物问题，将固定索引划分为 426 个训练问题和 324 个留出问题。教师对每个训练问题采样两次，共得到 850 条轨迹，再由 ShoppingBench 自带的程序化评分器保留成功解。
2. 按步骤编码：成功轨迹被拆成约 2,600 条训练样本和 130 条验证样本。为控制长度，示例将最大序列设为 16,384 tokens，并压缩搜索结果中与后续决策关系不大的字段。
3. 执行托管微调：在 SageMaker AI 模型定制中使用 LoRA 训练，数据集来自 S3，训练资源由托管服务配置，产出模型写入模型包组，指标则接入 Amazon SageMaker with MLflow。
4. 分阶段评估：先通过托管模型评估和自定义评分函数，逐样本比较学生生成的动作与教师基准动作；随后再部署实时端点，对留出问题运行完整搜索与多步智能体循环。

实际应用时的限制

• 蒸馏质量依赖教师轨迹和筛选器。教师会犯错，评分器也可能漏判或误判，因此不能默认保留下来的轨迹都具备可模仿性。
• SeqKD 只能学习实际采样到的行为，无法完整覆盖教师对所有可能输出的分布，也难以自动覆盖采样中未出现的错误恢复路径。
• 多步轨迹容易超出上下文限制。截断会丢失后续动作所需的信息，压缩工具观察则可能删掉实际影响判断的字段。
• 训练集与验证集必须按原始问题划分。若按轨迹步骤随机切分，同一问题的相似上下文可能同时进入训练和验证，造成结果虚高。
• 成本收益主要来自学生模型接管在线推理；教师轨迹生成、搜索服务、端点部署和评估仍有资源开销。所给资料未提供可泛化的最终成功率或成本降幅，不能据此宣称固定收益。

因此，SeqKD 的价值并不是简单地把大模型“缩小”，而是把一次性可复用的教师行为转化为学生的监督训练数据。对于只能通过 API 使用前沿模型、且在线任务包含昂贵多步循环的场景，它提供了一条兼顾可迁移性与成本控制的可执行路径。

资料来源：Build efficient agents with knowledge distillation on Amazon SageMaker AI（2026-11-02）。