← 返回文章列表

在 AWS Trainium 上使用 SGLang-Neuron 部署前沿 AI 模型

SGLang-Neuron 带来哪些变化 AWS 于 2026 年 11 月 12 日宣布,SGLang-Neuron 已公开提供,并通过 RadixArk 与 Annapurna Labs 协作发布的 AWS 深度学习容器交付。它让开发者可以在 AWS Trainium 上使用熟悉的 SGLang 服务接口部署模型,也能生成强化学习所需的 rollout

文章封面

SGLang-Neuron 带来哪些变化

AWS 于 2026 年 11 月 12 日宣布,SGLang-Neuron 已公开提供,并通过 RadixArk 与 Annapurna Labs 协作发布的 AWS 深度学习容器交付。它让开发者可以在 AWS Trainium 上使用熟悉的 SGLang 服务接口部署模型,也能生成强化学习所需的 rollout 采样轨迹。

核心变化是将 Trainium 支持做成 SGLang 的树外插件,而不是分叉 SGLang 主仓库。SGLang 继续负责 API 服务、请求生命周期、RadixAttention 和前缀缓存管理,插件则提供 Trainium 专属的模型、注意力、混合专家模型(MoE)和图执行器。两侧可以独立迭代,已有 SGLang 使用方式也更容易迁移。

Trainium 执行路径如何工作

TorchNeuron 会把 Trainium 注册为原生 PyTorch 设备。SGLang-Neuron 的模型执行路径使用标准 PyTorch 运算,并引入通过 Neuron Kernel Interface 编写的内核。这些运算和内核随后由 torch.compile 编译,图执行器负责在服务过程中准备并运行这些程序。

  • 安装插件后,可通过环境变量 SGLANG_PLATFORM=neuron 在启动服务时选择 Neuron 平台。
  • MoE、注意力机制和图执行由 Trainium 插件实现,SGLang 核心负责调度与请求管理。
  • 插件支持 PD 分离:prefill 服务器计算提示词的 KV 缓存,通过 EFA 上的 NIXL 将其传给 decode 服务器,再由后者生成剩余词元。

快速部署流程

官方示例使用基于 Trainium3 的 Amazon EC2 实例,并运行 pytorch-inference-sglang-neuron 容器。给出的镜像标签包含 PyTorch 3.14、Neuron SDK 2.33.0 和 Ubuntu 26.04,部署时应将其视为特定版本的固定配置。

docker run --rm -it \
  --privileged --ipc=host \
  -v /path/to/work:/work \
  public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 \
  /bin/bash

SGLANG_PLATFORM=neuron python -m sglang.launch_server \
  --model-path openai/gpt-oss-120b \
  --tp-size 8 \
  --ep-size 8 \
  --kv-cache-dtype fp8_e4m3 \
  --context-length 10240 \
  --chunked-prefill-size 8192 \
  --max-running-requests 64 \
  --max-total-tokens 655360 \
  --mem-fraction-static 0.8 \
  --host 127.0.0.1 \
  --port 30000

服务启动后,可通过 /v1/chat/completions 发送请求。该示例启用了张量并行和专家并行,KV 缓存采用 FP8 E4M3;这些参数针对示例模型和硬件条件,不能直接视为其他模型的推荐配置。

适用场景

  • 已经使用 SGLang,希望在保留服务接口和请求处理方式的前提下采用 Trainium 的团队。
  • 需要运行 MoE 模型或开展强化学习采样,并希望沿用 SGLang 调度与缓存机制的团队。
  • 需要将 prefill 与 decode 分离部署,并通过 NIXL 和 EFA 传输 KV 缓存的推理架构。

评估时需要注意的边界

AWS 将 Trainium 定位为面向规模化训练和推理、具备成本优势的基础设施,但这份资料没有提供吞吐量、延迟、显存占用或成本对比数据,因此无法据此量化实际收益。相关性能仍需结合模型、批量、上下文长度和实例配置实测。

当前快速示例只覆盖 Trainium3、指定容器及一个模型配置。模型兼容范围、可用功能和经过验证的配置,应以项目文档为准;启用 PD 分离时,还需确保 EFA、NIXL 及相关实例网络条件满足部署要求。

资料来源:Deploy frontier AI models on AWS Trainium with SGLang-Neuron(2026-11-12)。

相关文章

Azure AI Speech LLM 09-2026 正式发布:语言区域支持范围得到进一步扩大CUDA 二十周年:这个平台如何改变科学计算Duco 如何利用 Amazon Bedrock AgentCore 革新金融数据自动化使用 Amazon Bedrock 托管知识库的 Agentic Retrieve 构建具备记忆能力的 AI 智能体

一起聊聊

留下你的想法,评论审核通过后展示。

想进一步了解?

留下需求和联系方式,我们会就本次咨询与你联系。

本站使用有效期 180 天的随机浏览器标识统计访问与阅读情况,并记录访问 IP 及其大致所属地区,仅管理员可见;浏览器启用“请勿跟踪”时停止访问采集。