英伟达11月9日(周一)在美国得州奥斯汀举行的机器人学习大会(CoRL)上,推出开放的机器人AI模型GR00T 2,同时发布机器人仿真训练框架Isaac Lab 3.0和新的开放评测基准。
英伟达把GR00T 2称为基于其Cosmos平台打造的开放前沿「世界行动模型」,即机器人在动手之前,先预测自己的动作会让眼前环境发生什么变化。模型用多样的机器人数据和人类数据训练,其中包括10万小时第一视角的人类视频数据,英伟达已把这批数据开源供所有人使用。
英伟达公布的测试结果显示:在50项评测任务中,GR00T 2在没有针对具体任务做任何示范的情况下,有40项至少完成过一次;每项任务只给一次示范,平均成功率为71%,给五次示范则升至95%。模型还能从人类示范中学习,并在不同形态的机器人之间迁移技能,不需要额外的机器人示范;AI智能体也可以调用它的接口,按顺序执行多项技能并从错误中恢复。不过有报道指出,英伟达自己的论文也提到,这些任务是从模型本来就能学好的任务中挑选出来的。
在合作方面,富士康正把GR00T 2用于服务器制造的工厂自动化,西门子在评估它在各类工业场景的用途,Nexuni在测试用它让机器人处理洗衣。目前这几家都还没有宣布会在实际生产中使用。
同时发布的Isaac Lab 3.0是英伟达开源的机器人学习框架,新版本可用智能体快速搭建训练环境,并与开源物理引擎Newton更紧密整合,能模拟线缆、布料等可变形物体以及多关节机器人手。英伟达称,在一项基于视觉的灵巧操作基准测试中,Isaac Lab 3.0配合Newton的训练吞吐量最高可达上一版本搭配PhysX的2.5倍。
此外,英伟达有两篇论文入围本届CoRL最佳论文奖六强。参与相关合作的还包括博世研究院、Skild AI、Dyna Robotics、加州大学伯克利分校和华盛顿大学等机构。
下南洋预测市场:https://tonanyang.cc/webapp/
