机器人学习从移动转向精细操作
在2026年11月9日披露的CoRL信息中,NVIDIA展示了一套围绕机器人精细操作的技术组合,包括世界动作模型、仿真训练工具、工业评测基准和智能体工作流。CoRL在得克萨斯州奥斯汀举行。NVIDIA的两篇论文入选最佳论文候选:GRAIL用于从世界模型生成可供仿真使用的三维资产与场景,RoboTTT则探索扩大机器人视觉—动作上下文,同时控制推理延迟。
GR00T 2强化少样本操作能力
新发布的GR00T 2是一款建立在NVIDIA Cosmos之上的开放世界动作模型,训练数据包括机器人数据、人类数据以及10万小时开源人类第一视角数据。据NVIDIA公布的评估结果,该模型在没有任务专属演示的情况下完成了50项任务中的40项,至少各成功一次。
- 每项任务仅提供一次演示时,50项任务的平均成功率为71%;提供五次演示时升至95%。
- 模型支持从人类演示学习,并在不同机器人本体之间迁移技能。
- 开发者可通过接口让智能体依次调用技能,并在执行出错后尝试恢复。
这些成绩均来自NVIDIA披露的测试条件。资料显示,Nexuni正在测试机器人处理衣物,Foxconn将其用于服务器制造自动化,Siemens正在评估工业场景;MicroAGI则通过强化学习后训练,让搭载YAM机械臂的机器人执行以太网线更换。
仿真成为精细操作训练场
Isaac Lab 3.0允许研究者借助智能体快速搭建训练环境,在NVIDIA PhysX与Newton物理引擎之间切换,并使用不同渲染器训练视觉策略。与Newton的进一步整合,让仿真能够处理线缆、布料等可变形物体,以及具有多个交互关节的机器人手部系统。
据NVIDIA资料,Isaac Lab 3.0结合Newton后,在一项视觉灵巧操作基准中的训练吞吐量最高达到Isaac Lab 2.3搭配PhysX时的2.5倍。Skild AI发布的STEEL刚体求解器也以Newton为基础,面向大规模机器人训练。
单一策略覆盖更多精密任务
AlphaNIST在NIST装配任务板上使用同一策略处理20项毫米级零件任务。NVIDIA资料称,该策略的训练成功率超过98%,而分别训练的单任务策略为81%,前者使用的GPU时间约为后者的三十九分之一。其背后的Success-Guided Sampling方法把训练重点放在成功率约半数的任务上,并支持扩展至百万级并行环境。
工业评测开始关注变化条件
即将在CoRL发布预览版的Isaac Lab-Arena 0.4可并行运行数千种环境变化,以分析策略在何种物体、空间或物理条件下失效。RLWRLD与NVIDIA开发的DexBench包含15项任务,覆盖零售、物流、制造和酒店场景;UC Berkeley与NVIDIA开发的VABAR则设置六项工业任务,并为每项任务提供标准化变化、难度层级和成功指标。
智能体把单项技能组织成程序
UC Berkeley的Graph-as-Policy框架可由智能体连接多个技能,生成可检查的多步骤机器人程序,再通过Isaac仿真测试并根据失败结果修改。Ambi Robotics、Bosch Research和Siemens正在不同工业场景中探索这一流程。
适用场景与现实限制
这些技术适合需要毫米级装配、线缆插接、物品分拣、衣物处理和服务器制造等精细操作的任务,也适合仓储、零售与酒店等环境变化较多的工作流。不过,官方资料中的性能数字主要来自厂商公布或联合参与的基准,尚不足以代表普遍的真实部署效果;多项合作仍处于测试、评估或早期接入阶段。资料也没有完整披露真实环境中的长期失败率、硬件迁移成本、安全冗余和规模化部署结果。仿真到现实之间仍存在物理误差、感知偏差与策略泛化差距。实际落地前,仍需结合目标硬件进行独立测试,并设置失败检测、人工接管和安全停机机制。
资料来源:Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation(2026-11-09)。
一起聊聊
留下你的想法,评论审核通过后展示。