在具身智能向能夠適應和理解物理世界的 通用智能演進的過程中，世界模型正逐漸從一種 輔助性工具，演變為驅動智能體認知與決策的 核心引擎。其角色已超越了傳統意義上對環境動 態的被動模擬，轉而賦予智能體主動預測未來狀態、規劃行動序列、驗證決策策略乃至理解底層 物理規律的關鍵能力。為了系統性地實現這一范 式轉變，本文提出一套由四個層J構成的賦能框架(圖1)。該框架以數據層為根基，整合來自真實與仿真環境的多模態感知數據，構建具身交互的認知基礎；模型層作為核心，致力于構建兼具高生成保真度、動態可微性與深層語義理解能力的世界模型架構；應用層將世界模型的推演與規 劃能力轉化為機器人在開放、動態場景中的具體 感知、決策與控制功能；而評測層則貫穿始終， 通過建立系統的評估體系，確保技術的發展始終 錨定物理真實性、任務有效性與系統安全性三大準則，從而推動世界模型從技術概念走向穩健、 可靠的實際應用。

(一)數據層

數據層作為具身智能世界模型構建的基礎 支撐，負責提供多樣化、高質量的訓練樣本，直 接決定了模型對環境動態、物理交互規律及多模 態融合能力的學習效果。該層采用分層遞進的數 據金字塔結構，從底層到D層，數據量逐步遞減 而具身特異性逐步增強，形成覆蓋從廣度到深度 的異質訓練語料體系。這一層不僅包括原始數據 的采集，還通過增強、對齊和訓練數據構建流水 線，系統性地提升數據質量，為模型層輸出經過 清洗、增強、多模態對齊及格式化處理后的高質量時空序列數據，為后續模型訓練和真實世界泛 化奠定堅實基礎。

數據采集作為數據層的D一步，采用三層 遞進的“數據金字塔”結構，由底層到D層逐步 從海量通用向高度具身特異性過渡，形成由廣到 深、由淺入深的完整梯度。“數據金字塔”的Z 底層匯聚海量互聯網原始數據，形成基礎數據底 座。比如，Common Crawl³ 提供的萬億J多模態 網頁內容，以及YouTube—8M 、Kinetics—700等 大規模視頻數據集，其作用是為模型注入豐富 的視覺—動作模式和多樣化的人類行為表征，使 模型先掌握廣泛的環境統計規律與日常動作 分布。在此基礎上，“數據金字塔”中層轉向合成數據。中層可以通過MuJoCo 、Habitat—Sim、 SAPIEN⁴等高保真模擬器，生成帶有明確物理 約束的交互序列，并作為對底層數據的補充， 擴充現實世界中難以采集的數據。這一層承接 底層的通用知識，針對真實世界中難以獲取的 長尾場景、罕見事件和危險情境進行針對性補 充，從而顯著擴展模型對邊緣情況的覆蓋和魯 棒性。“數據金字塔”ZD層則聚焦真實具身交 互數據，直接橋接從模擬到現實的鴻溝，將底層 和中層的先驗知識錨定到真實的物理世界。它 們收集來自多平臺機器人的實際執行軌跡，其中 包括Bridge Dataset⁵ 、RoboTurk⁶以及Open X一 Embodiment⁷等數據集。這些數據集包括RGB— D視頻、本體感受和準確動作標注。這些貼合任 務本身的數據可以提升模型在實際部署時的決 策精度與遷移能力。

“數據金字塔”的三層之間層層遞進、相互 支撐：底層提供規模與多樣性，中層注入物理真 實性與長尾覆蓋，D層實現Z終的具身落地與精 度對齊，共同構筑起從統計先驗到真實交互能力 的完整數據梯度。

在數據采集的基礎上，數據增強模塊進一步 提升數據集的多樣性和模型的魯棒性。通過空間 域的隨機裁剪、翻轉、顏色抖動，時間域的幀插 值/丟幀/序列反轉以及噪聲注入、視角變換、動 作擾動等操作，生成大量變體樣本。這些變換不 僅顯著擴大了有效數據量，還迫使模型學習對視 角變化、光照差異、傳感器噪聲和動作微小擾動 的不變性。

為了使不同來源的異構數據真正服務于統 一的世界模型，多模態對齊模塊成為關鍵銜接環 節。它通過CLIP⁸等多模態基礎模型實現視覺、語 言和動作模態間的深度語義一致性，利用對比學 習損失將同一事件的文本描述、視頻幀序列和動 作軌跡拉近正樣本、推遠負樣本，形成共享的多模 態嵌入空間。在具身智能場景中，這種跨模態一致 性顯著提升了人機交互的自然度，使服務機器人 能夠直接響應口頭指令而無需繁瑣的重新編程。

預處理與格式化模塊將上述所有環節串聯 為高效的端到端自動化流程。先，進行嚴格 清洗，去除模糊、分辨率低、被嚴重遮擋或有異 常動作的樣本；接著，完成精細標注與分段，生 成動作邊界、物體檢測框和關鍵點；Z后，通過 token化或潛在表示壓縮，將原始高維數據轉化 為適合模型輸入的時空序列，保證海量異構數據 的高效流入訓練階段，大幅降低人工干預成本， 同時為模型提供干凈、結構化且語義豐富的高質 量輸入。

通過“采集—增強—對齊—處理”的完整閉 環，數據層不僅提供了規模龐大的訓練基礎，而 且確保了數據的具身特異性、多樣性和跨模態一 致性，為世界模型在真實機器人任務中的泛化能 力和物理理解能力打下了堅實的基礎。

(二)模型層

模型層的設計直接決定了具身智能代理對 真實世界的感知深度、理解精度與交互能力。它 通過將高維、多模態感知數據高效壓縮為緊湊且 語義豐富的內部表征，為長期規劃、不確定性建 模、跨場景泛化以及物理一致性推理奠定基礎。 模型層為應用層提供根據不同應用場景輸出的 決策支持信息，如未來的視頻序列預測或狀態軌 跡、端到端的動作序列分布或具體控制指令、密 集的內部獎勵標量、合成的虛擬演示軌跡或邊緣 場景數據。

現有具身智能世界模型主要分為兩大互補 范式：基于視頻生成的模型和基于三維幾何的模 型。前者聚焦像素J時空序列預測，擅長視覺密 集型動態建模；后者強調幾何結構精度與物理一 致性，更適用于準確交互與力學模擬場景。二者 共同推動模型從純2D視覺預測向4D結構化世界 建模演進。

基于視頻生成的模型通過學習圖像序列的時空動態，在像素空間直接模擬世界演化，為視 覺主導的預測與規劃提供支持。根據生成機制， 可再次細分為基于擴散的模型和基于自回歸的 模型。

基于擴散的模型采用漸進去噪過程，結合 因果建模、動作條件或文本—視頻對齊，生成視 覺逼真、時空連貫的長序列，能較好地刻畫環境 隨機性與多模態交互。在具身智能中，它們擅長 合成高質量機器人訓練數據與虛擬演示軌跡， 適用于離線強化學習、模擬環境構建及邊緣場景 擴充。盡管計算和顯存開銷較大，但其視覺保真 度、動態連貫性與大規模數據生成能力顯著提升 了任務的泛化性能。

基于自回歸的模型則逐幀或逐Token進行條 件預測，將序列建模為嚴格因果鏈，天然適合長 時序建模與逐步推理。它從海量視頻中提取通用 世界先驗，支持多模態條件下的未來狀態預測。 在具身場景中，它們特別擅長高效在線規劃、長 期預測與物理逐步推理，實現從視覺輸入到多 步自主決策與零樣本指令跟隨的閉環。擴散模型 更注重單次生成質量，自回歸模型則在計算擴展 性、長序列建模與因果一致性上占優，二者共同 完善了像素J視頻世界模型。

然而，像素J表示在準確物理交互、碰撞檢 測、多視角一致性及跨本體遷移方面存在局限。 為此，基于三維幾何的世界模型應運而生。它通 過將環境顯式或隱式編碼為結構化的3D/4D幾何 表示，使世界模型在預測未來狀態時不僅依賴像 素外觀變化，還能直接推理物體間的空間關系約 束、物理連續性和多視角一致性，實現更準確、 更具物理可信度的長期時空演化預測。

顯式表示的模型將環境以三角網格、體素、 占用網格或密集點云等結構化幾何形式直接編 碼為世界模型的可操作輸入，使得模型能夠根 據空間信息約束進行因果推理。EmbodiedGen⁹1 和PointWorld⁰ 作為起點，聚焦于通過多階段 生成流程創建可交互的3D資產。在此基礎上， Dream2Flow' 等后續工作進一步深化，超越單純 的幾何生成，轉而深入探索接觸密集型物理模擬 與物體部件J的分解與重組。盡管受到分辨率、 存儲與生成復雜度的限制，但其結構化、可編 輯、易集成物理引擎的特性使其在高精度交互任 務中不可替代。

隱式表示的模型將環境通過連續神經場函 數隱式參數化為世界模型的可微分幾何表示， 實現高保真新視角合成、光照建模、動態4D擴 展，以及從稀疏觀測到完整3D/4D世界的高質 量重構。典型方法包括NeRF¹2¹ 、3D Gaussian Splatting³ 及其動態變體、GaussianWorld 等 。 在具身智能中，它們特別適用于實時3D地圖構 建、精細物體操縱、避障導航及大規模場景重 建，例如StreetSurf¹⁵ 和GaussCtrl¹⁶ 在城市場景中 的應用。盡管優化過程復雜，但其幾何連續性、 多視角一致性、物體J可編輯性及對動態環境的 適應能力使其成為當前Z具靈活性與表現力的 幾何建模范式。

(三)應用層

在具身智能世界模型的整體框架中，應用層 扮演著將抽象模型能力真正轉化為實際具身系 統解決方案的關鍵橋梁。它緊密銜接數據層、模 型層與真實環境交互，Z終使世界模型從實驗室 走向可落地的機器人系統。同時，應用層向評測 層提供真實機器人任務的執行成功率、完成時 間、碰撞次數、泛化測試結果及安全違規記錄等 核心運行數據。該層建立了從底層技術賦能到直 觀任務落地的縱向驅動邏輯：技術賦能模塊直接 揭示了世界模型如何系統性地輔助具身智能模型 的開發與訓練，而落地任務模塊則通過可感知的 典型場景驗證了這些技術路徑的有效性。

在技術賦能維度，世界模型可被用作四大 研發工具。先，可作為神經模擬器，接受當前 觀測和動作輸入，直接生成未來視頻序列或狀態軌跡。這一機制支持快速前向展開，常用于模型 基規劃和蒙特卡洛樹搜索，從而顯著提升長時序 決策的效率與可行性。在此基礎上，世界模型作 為直接策略，代表了更激進的決策范式。該范式 將世界模型直接作為策略網絡，輸入狀態信息、 文本提示或多模態觀測數據，即可通過端到端推 理直接輸出動作序列或動作概率分布。代表性工 作如Cosmos Policy⁷及Motus18,通過世界模型潛 在空間的因果推理能力，在零樣本或少樣本場景 下展現出強大的泛化性能。其次，世界模型也可 作為獎勵模型，利用世界模型的預測能力，將稀 疏的外部獎勵轉化為密集的內部獎勵，支持強化 學習的高效訓練，并極大地降低對人工標注的依 賴。Z后，作為數據引擎，世界模型閉環數據不 斷合成與增強，形成持續學習的自舉機制。它一 方面可用于離線強化學習數據擴充，另一方面可 支持長尾場景覆蓋與數據多樣性提升。該引擎有 效緩解真實機器人交互數據稀缺問題，為預訓練 與微調持續注入高質量合成樣本。

通過神經模擬器→直接策略→獎勵模型→ 數據引擎的層層遞進，技術賦能模塊構建起從 “內心預演”到“即時行動”、從“獎勵自監督” 到“數據自舉”的完整工具鏈，為落地任務提供 了堅實的技術底座。

應用層的落地任務則是這些技術賦能的Z 終檢驗與體現，涵蓋從基礎到高J的多層次、多 場景應用需求，具體聚焦物體抓取、導航探索、 語言條件任務、多模態交互以及長期復雜任務五 大類。物體抓取任務先落地，利用世界模型預 測抓取后的物理交互，支持從桌面整理到工業零 件裝配等場景。導航探索任務則進一步擴展到移 動機器人，聚焦實現動態避障與未知區域的自主 巡航。在此基礎上，語言條件任務引入自然語言 驅動，機器人結合視覺理解與語言解析生成對 應動作序列，依賴世界模型的多模態推理能力， 實現零樣本或少樣本指令跟隨。多模態交互任 務再向上躍升，整合視覺、語言、觸覺甚至力反 饋，支持更自然的協作式物體傳遞或精細裝配。 Z終，長期復雜任務代表Z高挑戰，涉及多步序 列決策與長期規劃。世界模型通過模擬長時序動 態演化與不確定性建模，確保任務持續性和魯棒 性，避免累積誤差導致失敗。 這些任務由單步到多步、由單模態到多模態、 由短期到長期，形成完整的應用梯度。通過真實機 器人平臺的部署驗證，世界模型逐步縮小從模擬 到實物的遷移差距，展現出強大的跨場景泛化能 力，為具身智能走向社會化應用奠定堅實基礎。