按官方资料标注的2026年11月13日,AssemblyAI 将 AWS 上的语音转文本推理平台改为由 Amazon EC2 Spot GPU 实例承接峰值算力,并保留按需实例作为基础容量。此前完全使用按需实例的成本难以承受;新方案同时调整了资源调度、任务重试和区域部署方式。
用多实例族扩展 Spot 容量
平台运行在 Amazon ECS,容量提供商管理跨可用区的 GPU 资源,每块 GPU 运行一个推理模型,规模达到数千个实例。按需容量提供商保持基础容量,Spot 容量提供商处理需求峰值,ECS 托管伸缩则根据待处理任务调整资源。官方列出的实例包括 g4dn.xlarge、g4dn.2xlarge、g5.xlarge、g5.4xlarge 和 g6.2xlarge,覆盖 NVIDIA T4、A10G 与 L4,并使用价格与容量优化分配策略。
将两分钟回收通知纳入重试流程
Amazon SQS 将任务提交与执行解耦,ECS 任务轮询队列并处理音频。单次推理通常需要15秒至数分钟。实例收到两分钟中断通知时,EventBridge 触发 Lambda 处理器,把来不及完成的任务退回主队列,交给其他健康的 GPU 实例;超过重试上限的任务进入死信队列。包含模型工件和容器镜像的自定义 AMI 约两分钟创建,用于缩短恢复时间。CloudWatch 同时监测集群健康状况和 Spot 中断事件。
每个区域保持独立的数据边界
官方架构列出美国西部俄勒冈(us-west-2)和欧洲伦敦(eu-west-2)。两个区域分别拥有 SQS 队列、ECS 集群、容量提供商和 GPU 资源池,使医疗、金融及法律等受监管客户的音频可在指定地理边界内处理。欧洲区域同样覆盖 g4dn、g5、g6,以接入不同的 Spot 容量池。
适用场景与实际边界
该模式直接适合批处理或近实时 AI 工作负载,尤其适合运行时间较短、能够独立重试的 GPU 任务。任务被回收后,结果可能延迟交付,但可以由其他实例继续完成。对必须一次完成、不能重试或依赖严格硬实时约束的任务,官方资料没有给出适用证据;业务还需接受两分钟回收窗口以及重试带来的额外处理时间。
据该 AWS 官方案例材料,AssemblyAI 的推理计算成本较按需定价降低70%,同期计算需求同比接近增长四倍。这些数字属于案例方披露,资料未给出 Spot 中断率、按需基线占比、最大重试次数及 SLA 的具体测量口径。复刻此类架构时,仍需通过自身负载测试和中断演练核实容量余量、恢复时间与成本收益。
资料来源:Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot(2026-11-13)。
一起聊聊
留下你的想法,评论审核通过后展示。