← 返回文章列表

SageMaker Inference 现已支持多实例 GPU,以最大化模型端点的 GPU 利用率

截至2026年11月6日,Amazon SageMaker Inference 已支持基于 NVIDIA Multi-Instance GPU(MIG)的 GPU 分区。过去,GPU 端点只能申请完整加速器;现在,一块物理 GPU 可切为多个拥有独立计算和显存的分区,分别承载不同模型或模型副本。 直接变化是提高模型部署密度 以配备 8 张 A100 的 P4

文章封面

截至2026年11月6日,Amazon SageMaker Inference 已支持基于 NVIDIA Multi-Instance GPU(MIG)的 GPU 分区。过去,GPU 端点只能申请完整加速器;现在,一块物理 GPU 可切为多个拥有独立计算和显存的分区,分别承载不同模型或模型副本。

直接变化是提高模型部署密度

以配备 8 张 A100 的 P4d 实例为例,整卡模式最多放置 8 个模型;若每张卡采用 mig-4g.20gb、mig-2g.10gb、mig-1g.5gb 组合,每张卡可形成 3 个分区,整个实例即可提供 24 个分区。计算和显存由硬件隔离,还可混用不同分区规格。面对新一代 GPU 时,也能按需使用其中一部分,而非只能在整块旧卡与整块新卡之间二选一。

  • 模型常驻各自分区,避免未加载模型在首次请求时承担加载开销。
  • 推理组件可通过 CopyCount 占用更多空闲分区,为高并发小模型增加副本。
  • 调用方式不变,InvokeEndpoint 仍按推理组件名称寻址。

配置接口只增加两个可选字段

AcceleratorPartitionLayouts 在 CreateEndpointConfig 的生产变体中声明单卡切分方式,同一变体中的所有加速器采用同一布局,列表不与具体 GPU 位置对应。AcceleratorPartitionType 在推理组件中指定分区类型;此时 NumberOfAcceleratorDevicesRequired 为 1 表示一个分区,而不是一块完整加速器。不使用这两个字段时,端点行为保持不变。

可选粒度取决于具体 GPU

P4d(A100 40GB)和 P5(H100 80GB)最多可切 7 个分区;G7(RTX PRO 4500 Blackwell 32GB)可切 2 个;G7e(RTX PRO 6000 Blackwell Server Edition 96GB)可切 4 个。切分方案中的计算单元与显存单位必须同时满足 GPU 上限,不能只检查其中一个。P4d 的 mig-1g.10gb 需要 R525 或更新驱动;默认镜像所带的 470.256.02 驱动不满足要求,资料建议将 InferenceAmiVersion 设置为 al2023-ami-sagemaker-inference-gpu-4-1。

分区规格要同时覆盖预填充与解码

预填充读取提示词并构建表示,更依赖计算能力;解码需要反复读取模型权重,更受显存带宽约束,KV Cache 还会限制上下文长度和并发序列数。AWS 给出的容量参考是:8B 模型以 FP16 运行时,权重约占 16GB,另需计算 KV Cache 以及 1–2GB 运行时开销;40GB 分区可承载约 8,000 token 的上下文。实际选型仍需结合输出长度、并发量和框架配置验证。

适合这些工作负载

  • 微调变体、嵌入、重排、分类等无法充分利用整卡的小中型模型。
  • 转写、说话人分离、语言生成等可部署在同一实例上的多阶段流水线。
  • 安全分类器、候选模型和灰度版本。

多租户场景可以获得 GPU 层面的硬件边界,但同一实例上的模型仍共享 CPU、系统内存、存储、网络和端点路由,因此分区不能视为完整的租户隔离机制。

部署前需要确认的限制

该能力仅适用于使用推理组件的端点;单模型端点、Serverless 端点和异构实例池不能分区。分区布局在创建端点时确定,MIG 本身仅允许在分区空闲时更改布局;需要多块 GPU 的模型仍须使用完整设备。现有材料中的厂商性能对比只披露了测试设置:H100 的 mig-3g.40gb 分区与完整 A100 40GB 均运行 Llama-3.1-8B-Instruct,但未给出完整结果,因此不能据此推断性能倍数或成本收益,仍应按照实际提示词、输出长度和并发量复测。

资料来源:SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints(2026-11-06)。

相关文章

Azure AI Speech LLM 09-2026 正式发布:语言区域支持范围得到进一步扩大CUDA 二十周年:这个平台如何改变科学计算Duco 如何利用 Amazon Bedrock AgentCore 革新金融数据自动化使用 Amazon Bedrock 托管知识库的 Agentic Retrieve 构建具备记忆能力的 AI 智能体

一起聊聊

留下你的想法,评论审核通过后展示。