在CES開(kāi)幕演講中，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛推出的一系列產(chǎn)品中， Cosmos無(wú)疑對(duì)于行業(yè)的影響最為深遠(yuǎn)。

NVIDIA Cosmos由生成式世界基礎(chǔ)模型、高級(jí) tokenizer、護(hù)欄和加速視頻處理管線組成，服務(wù)于自動(dòng)駕駛汽車（AV）和機(jī)器人等物理 AI系統(tǒng)的發(fā)展。

Cosmos 世界基礎(chǔ)模型（WFM）使開(kāi)發(fā)者能夠輕松生成大量基于物理學(xué)的逼真合成數(shù)據(jù)，以用于訓(xùn)練和評(píng)估其現(xiàn)有的模型，他們還可以通過(guò)微調(diào) Cosmos WFM 構(gòu)建自定義模型。

而當(dāng)下物理 AI 模型的開(kāi)發(fā)成本高并且需要大量真實(shí)數(shù)據(jù)和測(cè)試。

Cosmos 模型將以開(kāi)放模型許可證的方式提供，開(kāi)發(fā)者可以在 NVIDIA API 目錄中預(yù)覽首批模型，也可以從 NVIDIA NGC目錄或 Hugging Face 下載整個(gè)系列的模型和微調(diào)框架。

這一方式將大大加速機(jī)器人和自動(dòng)駕駛汽車行業(yè)的進(jìn)展。

目前，Cosmos 的首批用戶包括 1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot,、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鵬汽車等領(lǐng)先機(jī)器人和汽車公司以及共享出行巨頭 Uber。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“機(jī)器人技術(shù)的 ChatGPT 時(shí)刻即將到來(lái)。與大語(yǔ)言模型一樣，世界基礎(chǔ)模型是推動(dòng)機(jī)器人和自動(dòng)駕駛汽車開(kāi)發(fā)的基礎(chǔ)，但并非所有開(kāi)發(fā)者都擁有自主訓(xùn)練模型所需的專業(yè)知識(shí)和資源。我們創(chuàng)建 Cosmos 是為了普及物理 AI，讓每一位開(kāi)發(fā)者都能接觸到通用機(jī)器人技術(shù)。”

如果做個(gè)簡(jiǎn)單的類比， Cosmos 類似于PC時(shí)代開(kāi)源的Linux，雖然不能將之簡(jiǎn)單地稱之為物理AI的操作系統(tǒng)，但可以理解為一種開(kāi)發(fā)語(yǔ)言。

借助 NVIDIA Cosmos 的開(kāi)放模型套件，開(kāi)發(fā)者可以根據(jù)目標(biāo)應(yīng)用的需要，使用數(shù)據(jù)集定制自動(dòng)駕駛汽車旅行視頻、機(jī)器人在倉(cāng)庫(kù)中的移動(dòng)軌跡等 WFM。

黃仁勛表示，Cosmos WFM 專為物理 AI 的研發(fā)而構(gòu)建，可以根據(jù)文本、圖像和視頻等輸入組合以及機(jī)器人傳感器或運(yùn)動(dòng)數(shù)據(jù)生成基于物理學(xué)的視頻。

這些模型為實(shí)現(xiàn)基于物理學(xué)的交互、物體恒存性以及生成高質(zhì)量的仿真工業(yè)環(huán)境（例如倉(cāng)庫(kù)或工廠）和駕駛環(huán)境（包括各種路況）而構(gòu)建。

在 CES 主題演講中，黃仁勛展示了物理AI開(kāi)發(fā)者如何使用 Cosmos模型，它可以在四大領(lǐng)域簡(jiǎn)化物理AI開(kāi)發(fā)者的工作：

視頻搜索和理解：使開(kāi)發(fā)者能夠從視頻數(shù)據(jù)中輕松找到特定的訓(xùn)練場(chǎng)景，例如雪天路況或倉(cāng)庫(kù)擁堵等。

基于物理學(xué)的逼真合成數(shù)據(jù)生成：使用 Cosmos 模型從NVIDIA Omniverse? 平臺(tái)上開(kāi)發(fā)的可控 3D 場(chǎng)景中生成逼真視頻。

物理 AI 模型開(kāi)發(fā)和評(píng)估：在基礎(chǔ)模型上構(gòu)建自定義模型，使用 Cosmos 進(jìn)行強(qiáng)化學(xué)習(xí)以改進(jìn)模型，或者測(cè)試模型在特定仿真場(chǎng)景中的表現(xiàn)。

預(yù)測(cè)與“多元宇宙”模擬：使用 Cosmos 和 Omniverse 生成 AI 模型所有未來(lái)可能實(shí)現(xiàn)的結(jié)果，以便幫助其選擇最佳和最準(zhǔn)確的路徑。

Cosmos 本質(zhì)上是一種開(kāi)發(fā)工具，但它的服務(wù)對(duì)象是做為開(kāi)發(fā)世界模型的開(kāi)發(fā)工具。

黃仁勛強(qiáng)調(diào)，構(gòu)建物理 AI 模型需要數(shù) PB（petabytes）的視頻數(shù)據(jù)以及數(shù)萬(wàn)小時(shí)的計(jì)算來(lái)處理、整理和標(biāo)記這些數(shù)據(jù)。為了幫助節(jié)省在數(shù)據(jù)整理、訓(xùn)練和模型定制方面的巨大成本，Cosmos 提供了以下功能：

NVIDIA NeMo Curator 驅(qū)動(dòng)的 NVIDIA AI 和 CUDA 加速數(shù)據(jù)處理管線，使開(kāi)發(fā)者能夠使用 NVIDIA Blackwell 平臺(tái)在 14 天內(nèi)處理、整理和標(biāo)記 2000 萬(wàn)小時(shí)的視頻，而如果單純使用 CPU 則需要 3 年以上。

NVIDIA Cosmos Tokenizer 是先進(jìn)的可視化 tokenizer，可將圖像和視頻轉(zhuǎn)換成 token。與當(dāng)前領(lǐng)先的 tokenizer 相比，其總壓縮率提高了 8 倍，處理速度提高了 12 倍。

NVIDIA NeMo 框架可用于高效的模型訓(xùn)練、定制和優(yōu)化。

用一句話解釋就是性能提升，成本下降。

Cosmos雖然正式官宣的時(shí)間不長(zhǎng)，但已經(jīng)洛陽(yáng)紙貴。

首批用戶包括 1X、Agile Robots、Agility、Figure AI、Foretellix、Uber、Waabi 和小鵬汽車等全球物理 AI 領(lǐng)先公司。

AI 和人形機(jī)器人公司1X 使用 Cosmos Tokenizer 推出了 1X World Model Challenge 數(shù)據(jù)集。

小鵬汽車將使用 Cosmos 加快其人形機(jī)器人的開(kāi)發(fā)。

Hillbot 和 Skild AI 正在使用 Cosmos 加速其通用機(jī)器人的開(kāi)發(fā)。

Agility 首席技術(shù)官 Pras Velagapudi 表示：“數(shù)據(jù)的稀缺性和可變性是在機(jī)器人環(huán)境中成功學(xué)習(xí)的主要挑戰(zhàn)。借助 Cosmos 的文本、圖像和視頻到世界的能力，我們能夠在各種任務(wù)中生成和增強(qiáng)逼真的場(chǎng)景并利用這些場(chǎng)景訓(xùn)練模型，而不需要采集那么多昂貴的真實(shí)數(shù)據(jù)?！?/p>

相比人形機(jī)器人，在自動(dòng)駕駛領(lǐng)域，Cosmos的出現(xiàn)可以說(shuō)將人形機(jī)器人和自動(dòng)駕駛打通了底層開(kāi)發(fā)工具。

在英偉達(dá)公布的信息中，Waabi作為一家從自動(dòng)駕駛汽車開(kāi)始致力于開(kāi)發(fā)物理世界生成式 AI 的先驅(qū)，正在評(píng)估 Cosmos 在自動(dòng)駕駛汽車軟件開(kāi)發(fā)和仿真中數(shù)據(jù)整理的應(yīng)用。

Wayve 則是一家致力于開(kāi)發(fā)自動(dòng)駕駛 AI 基礎(chǔ)模型的公司，該公司正在評(píng)估使用 Cosmos 搜索用于提高安全性和驗(yàn)證的極端駕駛場(chǎng)景。

自動(dòng)駕駛汽車工具鏈提供商 Foretellix 將使用 Cosmos 與 NVIDIA Omniverse  Sensor RTX API 大規(guī)模評(píng)估和生成高保真測(cè)試場(chǎng)景與訓(xùn)練數(shù)據(jù)。

全球共享出行巨頭 Uber 正在與 NVIDIA 合作，共同加速自動(dòng)駕駛汽車的發(fā)展。

Uber 豐富的駕駛數(shù)據(jù)集在與 Cosmos 平臺(tái)和 NVIDIA DGX Cloud 的功能結(jié)合后，能夠幫助自動(dòng)駕駛汽車合作伙伴更加高效地構(gòu)建更強(qiáng)大的 AI 模型。

Uber 首席執(zhí)行官 Dara Khosrowshahi 表示：“生成式 AI 將驅(qū)動(dòng)未來(lái)的移動(dòng)出行，而這需要豐富的數(shù)據(jù)和非常強(qiáng)大的算力。相信在 NVIDIA 的助力下，我們能夠幫助行業(yè)更快開(kāi)發(fā)出安全、可擴(kuò)展的自動(dòng)駕駛解決方案。”

不過(guò)，正如在智能汽車產(chǎn)業(yè)有靈魂與軀殼爭(zhēng)論一樣，NVIDIA Cosmos類似操作系統(tǒng)的底層開(kāi)發(fā)系統(tǒng)，做為最底層的開(kāi)發(fā)工具，是否留有后門，是否容易被攻破都會(huì)讓NVIDIA 處于風(fēng)暴眼中。

黃仁勛特別解釋說(shuō)，Cosmos根據(jù) NVIDIA 的可信 AI 原則開(kāi)發(fā)而成，該原則將優(yōu)先考慮隱私、安全、保障、透明和減少不必要的偏見(jiàn)，NVIDIA 致力于實(shí)現(xiàn)安全、可信的 AI，這與全球的各個(gè) AI 安全倡議相吻合。

在細(xì)節(jié)方面，Cosmos 開(kāi)放平臺(tái)加入了專為減少有害文字和圖像而設(shè)計(jì)的護(hù)欄，并提供了一個(gè)增強(qiáng)文字提示準(zhǔn)確性的工具。使用 NVIDIA API 目錄上的 Cosmos 自回歸模型和擴(kuò)散模型生成的視頻會(huì)帶有隱形水印，可識(shí)別 AI 生成的內(nèi)容，這有助于減少錯(cuò)誤信息和錯(cuò)誤歸屬的可能性。

Cosmos WFM 現(xiàn)在可以通過(guò) NVIDIA在 Hugging Face 和 NVIDIA NGC 目錄上的開(kāi)放模型許可證獲得，并且很快將以經(jīng)過(guò)全面優(yōu)化的 NVIDIA NIM 微服務(wù)形式提供。

開(kāi)發(fā)者可以使用 NVIDIA NeMo Curator 加速視頻處理，并使用 NVIDIA NeMo 定制自己的世界模型。然后，他們可以通過(guò)NVIDIA DGX Cloud 快速、簡(jiǎn)單地部署這些模型，并獲得 NVIDIA AI Enterprise 軟件平臺(tái)提供的企業(yè)支持。

NVIDIA 還宣布推出全新 NVIDIA Llama Nemotron 大語(yǔ)言模型和 NVIDIA Cosmos Nemotron 視覺(jué)語(yǔ)言模型，開(kāi)發(fā)者可將這些模型用于醫(yī)療、金融服務(wù)、制造等領(lǐng)域的企業(yè) AI 用例。

Cosmos 對(duì)于當(dāng)下的物理AI（具身智能）絕對(duì)是革命性的產(chǎn)品，NVIDIA 通過(guò)生成式物理 AI 進(jìn)一步擴(kuò)展 了Omniverse也就是世界模型的構(gòu)建能力，為機(jī)器人、自動(dòng)駕駛汽車和視覺(jué) AI 等在數(shù)字孿生世界訓(xùn)練打開(kāi)了效率之門。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“物理 AI 將為總值 50 萬(wàn)億美元的制造業(yè)和物流業(yè)帶來(lái)巨大改變。從汽車和卡車到工廠和倉(cāng)庫(kù)，移動(dòng)的事物能夠被機(jī)器人化并通過(guò) AI 具身化。NVIDIA 的 Omniverse 數(shù)字孿生操作系統(tǒng)和 Cosmos 物理 AI 將作為實(shí)現(xiàn)全球?qū)嶓w產(chǎn)業(yè)數(shù)字化的基礎(chǔ)庫(kù)?！?/p>

黃仁勛表示， 創(chuàng)建用于物理 AI 仿真的 3D 世界分為三個(gè)步驟：構(gòu)建世界、使用物理屬性標(biāo)記世界，并讓其栩栩如生。

NVIDIA 提供的生成式 AI 模型可加速各個(gè)環(huán)節(jié)。

借助已正式推出的 USD Code 和 USD Search NVIDIA NIM微服務(wù)，開(kāi)發(fā)者能夠使用文本提示生成或搜索 OpenUSD 資產(chǎn)。

而今天發(fā)布的全新 NVIDIA Edify SimReady 生成式 AI 模型可自動(dòng)為現(xiàn)有 3D 資產(chǎn)添加物理效果或材質(zhì)等屬性，使開(kāi)發(fā)者能在幾分鐘內(nèi)處理 1000 個(gè) 3D 對(duì)象，無(wú)需像以前一樣花費(fèi) 40 多個(gè)小時(shí)手動(dòng)處理。

NVIDIA Omniverse 搭配全新 NVIDIA Cosmos 世界基礎(chǔ)模型，組合成了一個(gè)合成數(shù)據(jù)倍增引擎，開(kāi)發(fā)者能夠使用該引擎輕松生成大量可控、逼真的合成數(shù)據(jù)。

開(kāi)發(fā)者還可以在 Omniverse 中創(chuàng)建 3D 場(chǎng)景并對(duì)輸出的圖像或視頻進(jìn)行渲染，然后將這些圖像或視頻可以與文本提示一起用于調(diào)整 Cosmos 模型，生成無(wú)數(shù)用于物理 AI 訓(xùn)練的合成虛擬環(huán)境。

在 CES 主題演講中，NVIDIA 還發(fā)布了另外四個(gè)新藍(lán)圖，使開(kāi)發(fā)者能夠更加輕松地構(gòu)建基于通用場(chǎng)景描述（OpenUSD）的 Omniverse 物理 AI 數(shù)字孿生。

這四個(gè)藍(lán)圖分別是：

Mega：由 Omniverse Sensor RTX API 驅(qū)動(dòng)，用于在部署到真實(shí)設(shè)施中前，先在工廠或倉(cāng)庫(kù)的數(shù)字孿生中大規(guī)模開(kāi)發(fā)和測(cè)試機(jī)器人集群。

自動(dòng)駕駛汽車仿真：同樣由 Omniverse Sensor RTX API 驅(qū)動(dòng)，使自動(dòng)駕駛汽車開(kāi)發(fā)者能夠播放駕駛數(shù)據(jù)、生成新的基準(zhǔn)真實(shí)數(shù)據(jù)并執(zhí)行閉環(huán)測(cè)試，從而加快開(kāi)發(fā)流水線。

Omniverse Apple Vision Pro 空間流式傳輸：幫助開(kāi)發(fā)者創(chuàng)建將大型工業(yè)數(shù)字孿生以沉浸式流的形式傳輸?shù)?nbsp;Apple Vision Pro 的應(yīng)用。

適用于計(jì)算機(jī)輔助工程（CAE）的實(shí)時(shí)數(shù)字孿生：基于 NVIDIA CUDA-X? 加速庫(kù)、物理 AI 庫(kù)和 Omniverse 庫(kù)構(gòu)建的實(shí)時(shí)物理可視化參考工作流。

此外，全新的免費(fèi) Learn OpenUSD 課程現(xiàn)已推出，這些課程將幫助開(kāi)發(fā)者快速構(gòu)建基于 OpenUSD 的世界。

市場(chǎng)領(lǐng)先者使用 NVIDIA Omniverse 推動(dòng)工業(yè) AI 發(fā)展

全球軟件開(kāi)發(fā)和專業(yè)服務(wù)領(lǐng)域的領(lǐng)先企業(yè)正在使用 Omniverse 開(kāi)發(fā)新的產(chǎn)品和服務(wù)，加快工業(yè) AI 新時(shí)代的到來(lái)。

電子系統(tǒng)設(shè)計(jì)領(lǐng)域的領(lǐng)先者 Cadence 在其 Reality Digital Twin 數(shù)據(jù)中心數(shù)字孿生平臺(tái)中使用了 Omniverse 庫(kù)，并以此為基礎(chǔ)宣布將 Omniverse 進(jìn)一步集成到 Allegro 中。Allegro 是 Cadence 的領(lǐng)先電子計(jì)算機(jī)輔助設(shè)計(jì)應(yīng)用，廣泛用于全球各大半導(dǎo)體公司。

計(jì)算智能領(lǐng)域的領(lǐng)導(dǎo)者 Altair 正在使用 Omniverse 藍(lán)圖構(gòu)建交互式計(jì)算流體動(dòng)力學(xué)（CFD）的實(shí)時(shí) CAE 數(shù)字孿生。Ansys 正在將 Omniverse 用于其領(lǐng)先的 CAE 應(yīng)用 Ansys Fluent 中。Neural Concept 正在將 Omniverse 庫(kù)集成到其下一代軟件產(chǎn)品，從而實(shí)現(xiàn)了實(shí)時(shí) CFD 并改進(jìn)了工程工作流。

全球?qū)I(yè)服務(wù)領(lǐng)域的領(lǐng)先企業(yè)埃森哲正在使用 Mega 幫助德國(guó)供應(yīng)鏈解決方案領(lǐng)導(dǎo)者 KION 為該公司的全球倉(cāng)儲(chǔ)和配送客戶網(wǎng)絡(luò)構(gòu)建下一代自主倉(cāng)庫(kù)和機(jī)器人集群。

自動(dòng)駕駛汽車工具鏈供應(yīng)商 Foretellix 是數(shù)據(jù)驅(qū)動(dòng)型自動(dòng)駕駛開(kāi)發(fā)領(lǐng)域的領(lǐng)導(dǎo)者。

該公司正在使用自動(dòng)駕駛汽車仿真藍(lán)圖進(jìn)行全 3D 傳感器仿真，以此優(yōu)化自動(dòng)駕駛汽車的測(cè)試和驗(yàn)證。研究機(jī)構(gòu) MITRE 也在與密歇根大學(xué)的 Mcity 測(cè)試設(shè)施聯(lián)合部署該藍(lán)圖，創(chuàng)建一個(gè)全行業(yè)自動(dòng)駕駛汽車驗(yàn)證平臺(tái)。

Katana Studio 正在使用 Omniverse 空間流式傳輸工作流程為日產(chǎn)和大眾汽車創(chuàng)建定制汽車配置器，使他們能夠在沉浸式環(huán)境中設(shè)計(jì)和審核車型，同時(shí)改善客戶決策流程。

面向企業(yè)的 XR 流式傳輸平臺(tái) Innoactive 借助該工作流為 Apple Vision Pro 增加了空間流式傳輸?shù)钠脚_(tái)支持。

借助該解決方案，大眾集團(tuán)能夠以人眼分辨率進(jìn)行設(shè)計(jì)和工程項(xiàng)目審查。Innoactive 還與藥物生產(chǎn)加工和包裝技術(shù)解決方案提供商 Syntegon 合作，使 Syntegon 的客戶能夠在建造定制設(shè)施前先檢查和審核設(shè)施的數(shù)字孿生。

人工智能的時(shí)代正在英偉達(dá)的推動(dòng)下，加速到來(lái)。