英伟达发布全球首款全模态物理AI模型Cosmos 3

6月1日，在2026中国台北GTC大会上，英伟达正式发布重磅产品——NVIDIACosmos3。这款面向物理AI的开放世界基础模型，凭借全新混合Transformer架构，打通视觉推理、世界生成、动作预测三大核心能力，成为全球首款完全开放的全模态物理AI模型。英伟达同步成立NVIDIACosmosCoalition全球协作联盟，集结全球顶尖世界模型研发团队与AI开发者，宣告物理AI规模化落地时代加速到来。

Cosmos3解决了物理AI的根本挑战：使机器人、自动驾驶汽车或视觉智能体在训练数据有限且仿真堆栈分散的情况下，也能够在真实世界中进行泛化。模型采用划时代的Mixture-of-Transformer（混合Transformer）架构，推理Transformer负责理解场景和时序关系，专家生成Transformer在此基础上生成符合物理规律的输出，实现了在生成视频和动作轨迹前先完成对物体交互、运动及时空关系的解析。

作为全球首款完全开放的全模态模型，Cosmos3能够原生理解并生成文本、图像、视频、环境音和动作五种模态，具备领先行业的物理精度，可将物理AI的训练和评估周期从数月缩短至数天。模型基于迄今最大规模的多模态物理AI数据集之一进行训练——涵盖数十亿条文本、图像、视频、声音和动作轨迹样本，为开发者提供强大的预训练基础。

英伟达创始人兼CEO黄仁勋在发布会上表示：“得益于多模态推理语言、视觉和世界模型的突破，物理AI的‘大爆炸’时代即将来临。Cosmos3系列开放式前沿全模态模型，将使开发者在打造机器人、自动驾驶汽车和视觉AI方面实现跨世代跃进，让这些系统能够在物理世界中感知、推理、规划并采取行动。