NVIDIA 推動生成式 AI 與機器人相結合
2024-01-12
來源:NVIDIA
生成式 AI 正在重塑價值數萬億美元的產業。NVIDIA 作為智能機器人領域的領跑者,正在抓住這一機遇。
今日,NVIDIA 機器人和邊緣計算副總裁 Deepu Talla 在 CES 上的特別演講中,詳細介紹了 NVIDIA 及合作伙伴是如何將生成式 AI 與機器人技術相結合的。
這一切都是水到渠成,有越來越多的合作伙伴正在使用由 GPU 加速的大語言模型,為各類機器帶來前所未有的智能和適應能力,這些合作伙伴包括波士頓動力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇樹科技等。
現在正是一個千載難逢的好時機。
Talla 表示:“由 AI 驅動的自主機器人越來越多地應用于提高效率、降低成本和解決勞動力短缺問題。”
共創變革
從一開始,NVIDIA 就一直是這場生成式 AI 變革的核心。
十年前,NVIDIA 創始人兼首席執行官黃仁勛親手將第一臺 NVIDIA DGX AI 超級計算機交付給 OpenAI。如今,得益于 OpenAI 的 ChatGPT,生成式 AI 已成為當代發展最快的技術之一。
而這一切才剛剛開始。
Talla 預測,生成式 AI 的影響將超越文本和圖像生成,進入到家庭和辦公室、農場和工廠、醫院和實驗室中。
其關鍵在于,類似于人類大腦語言中心的大語言模型(LLM),使機器人能夠更自然地理解和響應人類指令。
這些機器能夠不斷地向人類、彼此和周圍的世界學習。
Talla 表示:“鑒于這些特性,生成式 AI 非常適合用于機器人技術。”
機器人如何使用生成式 AI
Agility Robotics 和其他公司正在將生成式 AI 整合到他們的機器人中,以幫助理解文本或語音命令。追覓科技的機器人吸塵器,正在由生成式 AI 模型創建的模擬生活空間中接受訓練。同時,Electric Sheep 也正在開發一種自動割草的全球范式。
NVIDIA Isaac 和 Jetson 平臺等 NVIDIA 技術能夠為 AI 機器人的開發和部署提供助力,被超過 120 萬名開發人員和 10,000 名客戶以及合作伙伴所使用。
其中的許多企業都參加了本周的 CES,包括亞德諾半導體、Aurora Labs、Canonical、追覓創新科技、DriveU、e-con Systems 、Ecotron、Enchanted Tools、GlüxKind、禾賽科技、Leopard Imaging、九號公司(未嵐大陸(北京)科技有限公司)、Nodar、奧比中光、QT Group、速騰聚創、Spartan Radar、TDK、Telit、宇樹科技、Voyant Photonics 和一徑科技等。
雙機勝于單機
為了展示該模式的運作方式,Talla 在演講中展示了將 AI 部署到機器人技術中所必需的雙計算機模型(如下),展現出 NVIDIA 在 AI 開發和應用方面的全面性。
第一臺計算機被稱為“AI 工廠”,是創建和不斷改進 AI 模型的核心。
AI 工廠使用了 NVIDIA 數據中心計算基礎設施以及 NVIDIA AI 和 NVIDIA Omniverse 平臺,可以仿真和訓練 AI 模型。
第二臺計算機代表機器人的運行環境。
運行環境根據應用的不同而有所變化,比如可以是云或數據中心;對于半導體制造中的缺陷檢測等任務則是本地服務器;配備多個傳感器和攝像頭的自主機器也可能成為運行環境。
生成高質量資產和場景
Talla 還重點介紹了 LLM 在打破技術壁壘方面的作用。LLM 可以將普通用戶變成技術藝術家,能夠創建復雜機器人工作單元或整個倉庫仿真。
借助 NVIDIA Picasso 等生成式 AI 工具,用戶可以根據簡單的文字提示來生成逼真的 3D 資產,并將其添加到數字場景中,以實現動態、全面的機器人訓練環境。
這一功能還可擴展到在 Omniverse 中創建多樣化且符合物理學的場景,從而加強機器人的測試和訓練,保證機器人在現實世界中的適用性。
這與生成式 AI 在重新構建機器人部署方式上的變革潛力不謀而合。
以前的機器人是為特定任務而專門制造的,而根據不同任務來修改機器人十分耗時。
Talla 還解釋道,LLM 和視覺語言模型領域的進步正在消除這一瓶頸,使我們能夠通過自然語言與機器人進行更直觀的交互。
這種適應性強、能感知周圍環境的機器將很快遍布世界各地。