GS Caltex 将 Canvas 模型接入生产流水线
截至 2026 年 11 月 13 日,GS Caltex 已将 Amazon SageMaker Canvas 中验证的数据预处理流程和模型接入 Amazon SageMaker Pipelines,用于生产部署与定时批量推理。此前,Canvas 资产即使已经完成验证,仍需 ML 工程师手工配置生产数据路径、模型配置以及预处理和推理任务。
据 GS Caltex 报告,完成自动化交接后,ML 工程师部署模型所需时间由约一周缩短至数小时;系统每 30 分钟运行一次批量推理,并称这一调整显著降低了推理成本。上述时间和收益属于该公司披露的实践结果,并非 AWS 对所有客户的统一承诺。
让流程知识与工程能力各司其职
- 流程工程师在 SageMaker Canvas 中以可视化方式准备数据、训练和评估模型,并利用工艺知识判断预测是否可用,无需编写代码。
- ML 工程师在 SageMaker Pipelines 中配置预处理、批量推理、结果组装及执行顺序,负责模型版本、审批状态和失败处理。
验证后的模型可注册到 SageMaker Model Registry。ML 工程师审核模型文件、推理配置和评估结果,批准后创建 SageMaker 模型资源,供后续 Batch Transform 任务引用。新的模型版本发布时需要重新注册和部署,定时推理任务则复用已部署模型。
生产工作流包含五个关键步骤
- PrepareInput:准备推理数据,并在必要时补充目标列占位值。
- PreprocessNewData:执行从 Canvas 导出的 Data Wrangler 预处理流程。
- DropTargetColumn:移除目标列及 CSV 表头,只保留训练时使用的特征。
- BatchPredict:使用已批准的模型执行批量推理。
- AssembleResults:按记录位置合并预处理数据与预测结果。
预处理流程以 SageMaker Processing 作业导出,流水线需要复用该作业的容器镜像、输入路径、执行角色和输出标识,并固定已学习的缩放、编码等参数,不能在每次推理时重新拟合。模型包即使已处于已批准状态,也仍应在部署代码中检查状态,因为 Model Registry 本身不会阻止未批准模型参与每一次推理请求。
适用的是可等待的批处理工作负载
该架构适合能够按批次处理记录、以定时运行代替持续在线推理的场景。Batch Transform 在任务结束后释放计算资源,不需要为每个模型长期维持端点;如果业务要求稳定、低延迟响应,则更适合使用预置的实时端点。启用每 30 分钟调度前,还应评估完整工作流的实例类型、运行时长、任务频率和存储成本。
上线前需要处理的限制
- 训练数据包含目标列,而推理数据通常没有。只有在占位值不影响过滤、特征派生或目标编码时,才能直接采用补列再删列的方案。
- 预处理流程可能引用固定的 S3 输入位置,共享该位置的执行不能重叠。声明流水线参数不会自动改写
.flow文件中的 URI。 - 如果迁移到其他 AWS 区域,需要确认所用容器镜像在该区域可用。
- 结果合并前必须校验文件顺序和行数;若预处理会排序或删除记录,应保留源记录 ID 与预测结果之间的明确映射。
资料来源:Production MLOps at GS Caltex with Amazon SageMaker Canvas, part 1(2026-11-13)。
一起聊聊
留下你的想法,评论审核通过后展示。