英偉達(dá)(Nvidia)昨日(1 月 7 日)發(fā)布 Cosmos 平臺(tái),由生成式世界基礎(chǔ)模型(WFMs)、高級(jí)分詞器(advanced tokenizers)、安全護(hù)欄和加速視頻處理管道組成,旨在推動(dòng)開發(fā)自動(dòng)駕駛汽車和機(jī)器人等物理 AI 系統(tǒng)。
英偉達(dá)表示開發(fā)物理 AI 模型的成本很高,并且需要大量的真實(shí)世界數(shù)據(jù)和測(cè)試。而 Cosmos 世界基礎(chǔ)模型(WFM)為開發(fā)人員提供了一種簡(jiǎn)單的方法,可以生成大量基于物理的逼真合成數(shù)據(jù),以訓(xùn)練和評(píng)估其現(xiàn)有模型,開發(fā)人員還可以通過(guò)微調(diào) Cosmos WFM 來(lái)構(gòu)建自定義模型。
Cosmos 平臺(tái)模型已開放許可,開發(fā)人員可以在 NVIDIA API 目錄中預(yù)覽第一批模型,也可以從 NVIDIA NGC 目錄或 Hugging Face 下載模型系列和微調(diào)框架。
英偉達(dá)表示,1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和 XPENG,以及拼車巨頭 Uber 等成為首批使用 Cosmos 的公司。
援引英偉達(dá)官方新聞稿,附上 Cosmos 平臺(tái)應(yīng)用場(chǎng)景如下:
視頻搜索和理解:輕松查找特定訓(xùn)練場(chǎng)景,例如雪地路況或倉(cāng)庫(kù)擁堵。
生成合成數(shù)據(jù):基于物理學(xué)生成逼真的視頻數(shù)據(jù)。
模型開發(fā)和評(píng)估:構(gòu)建自定義模型、改進(jìn)模型或測(cè)試模型性能。