人形機器人要走向真實生活，世界模型如何更好地訓練它們面對各種突發、發布意外、機器長尾場景？人迎
眼下，大家真不用在真實場景的世界模型數據里窮盡各種可能了。
9月17日，發布挪威機器人公司1X發布一款針對機器人的機器“世界模型”，結合了Sora視頻生成和端到端自動駕駛（E2EAD）世界模型（world models for autonomous vehicles）技術，人迎可生成高保真的世界模型視頻，使得機器人能夠模擬多種場景下的發布動作和交互，從而在模擬空間中進行規劃、機器操作、人迎訓練和評估，世界模型提高其在現實世界中執行任務的發布效率和準確性。
1X公司成立于2014年，機器主要研發雙足機器人和商用輪式人形機器人，于2023年獲得Open AI的投資，并與之共享數據和技術。
如何訓練及評估機器人與真實世界的泛化交互能力，是機器人行業亟待解決的關鍵問題。
由于真實世界的環境存在不穩定性，通常很難重現。為控制環境因素的變量，傳統的訓練方法往往采用基于物理的模擬仿真器（如Bullet、Mujoco、Isaac Sim、Drake），使得實驗和訓練可重置及重現，從而能夠比較評估不同的控制算法。
然而，這些模擬器大多是為剛體動力學而設計，所模擬的環境通常在視覺和實際用例多樣性方面較為有限，導致難以將小規模評估結果直接推廣至現實世界。
而在1X之前，產業界也有不少拓展機器人訓練場景和任務多樣性的嘗試。
2024年7月15日，上海AI實驗室推出首個專為各種機器人設計的模擬交互3D社會GRUtopia（桃源），包含了覆蓋10萬個精細注釋的交互式場景數據集GRScenes、由大型語言模型驅動的NPC（非玩家角色）系統GRResidents，以及評估機器人能力的基準測試GRBench。
GRUtopia采用從仿真到真實（Sim2Real）的范式，旨在降低現實世界數據收集的難度和成本，解決具身智能領域的數據稀缺問題。該項目已全部開源。（開源地址：https://github.com/OpenRobotLab/GRUtopia）
此次1X公司發布的“世界模型”，在構建和評估機器人能力時，采用了一種全新的方法——直接從機器人原始傳感器數據中學習。
1X公司收集了數千小時機器人在家庭和辦公環境中交互的真實數據，訓練該模型學會了模擬現實環境，并根據不同動作指令模擬產生不同結果，預測機器人與環境的交互，如規劃路徑、抓取物體、折疊衣物，甚至自動避免與人碰撞，能夠在數百萬個場景中評估機器人策略的表現。
圖1 模擬左門軌跡 圖片來源：1X官網
圖2 模擬右門軌跡 圖片來源：1X官網
圖3 彈奏空氣吉他 圖片來源：1X官網
盡管在物體一致性、物理規律和自我認知方面仍存在一些挑戰，1X此次發布的“世界模型”為機器人學習和認知研究提供了全新的視角。其創始人兼CEO Bernt Bornich認為，