2024 年人形機器人最具突破性的進(jìn)展主要體現在具身智能領(lǐng)域：3 月，Covariant 發(fā) 布端到端具身大模型 RFM-1，具身智能創(chuàng )業(yè)團隊 Sergey Levine 和 Chelsea Finn 創(chuàng ) 立 Pi（Physical Intelligence），Figure AI 發(fā)布接入 OpenAI GPT-4V 的 Figure 01 demo。4 月，李飛飛創(chuàng )立 World Labs，致力于解決 AI 在三維空間感知和理解方面的 難題。5 月，特斯拉發(fā)布視頻，展示 Optimus 精準分揀特斯拉電動(dòng)車(chē) 4680 電池的場(chǎng) 景，使用完全端到端神經(jīng)網(wǎng)絡(luò )，只利用 2D 攝像頭視頻和機載自傳感器，直接生成關(guān) 節控制序列，完全靠視覺(jué)輔助和人類(lèi)示范進(jìn)行訓練。國內人形機器人產(chǎn)業(yè)硬件供應鏈 優(yōu)勢明顯，在具身智能、數據采集、人才領(lǐng)域的短板需要補齊。

分層端到端是目前具身智能的主要路徑。大模型分為非具身大模型（基礎大模型）、 具身智能大模型（機器人大模型），區別是能否生成運動(dòng)姿態(tài)。非具身大模型如 GPT、 Sora 等，輸入和輸出的模態(tài)都是語(yǔ)言、圖片和視頻。具身智能大模型輸入視覺(jué)、語(yǔ) 言信號，輸出三維物理世界的操作，其中，端到端的具身大模型對數據和算力要求高， 如 Tesla FSD、谷歌 RT 模型；Figure AI 等大多數公司都采取了分層端到端的具身 大模型，一般分為三層：基礎大模型（LLM 或 VLM）、決策大模型、操作大模型，其中 決策大模型以 ChatGPT for Robotics、谷歌 PaLM-E 為代表，技術(shù)方向從 LLM 向強 化學(xué)習（RL）演進(jìn)，基于 RL 的范式可以使模型能夠在不同環(huán)境和任務(wù)中學(xué)習和適應， 實(shí)現更高級的決策能力。操作大模型根據決策大模型的輸出執行具體動(dòng)作，需要與機器人硬件深度集成，且必須通過(guò)數據采集來(lái)實(shí)現，技術(shù)方向從“MPC+WBC”向“RL+仿 真”演進(jìn)，MPC 更適合具有精確模型和短期優(yōu)化目標的場(chǎng)景，RL 更適用于不確定性 高、需要長(cháng)期學(xué)習和自適應的環(huán)境。在操作大模型領(lǐng)域，大多數廠(chǎng)商都剛起步。

數據采集的主要方式：遠程操作、仿真合成數據。互聯(lián)網(wǎng)上各類(lèi)文本、圖像和視頻數 據集龐大，機器人的場(chǎng)景和交互有價(jià)值的數據量小，限制了 AI 模型在人形機器人上 的泛化能力。特斯拉 Tesla Bot 開(kāi)發(fā)團隊使用人類(lèi)的真實(shí)運動(dòng)方式來(lái)訓練機器人，英 偉達推出 MimicGen 和 Robocasa 模型，通過(guò)真人的遙操作數據捕獲，再通過(guò)生成合成運動(dòng)數據和模擬環(huán)境，加速機器人技術(shù)的研發(fā)和應用。國內人形機器人創(chuàng )新中心加速建設人形機器人訓練場(chǎng)。

具身智能估值邏輯：硬件、數據、模型、人才。硬件是一切的基礎，如果沒(méi)有自己的 硬件，就無(wú)法根據算法和數據進(jìn)行硬件的快速優(yōu)化和修改。涉及數據的采集、組織管 理以及與模型的閉環(huán)開(kāi)發(fā)，需要有強大組織能力的團隊，核心團隊需要具備組織大規模工程師的經(jīng)驗；越來(lái)越多的算法陸續開(kāi)源，開(kāi)源算法可以提供基礎的功能和技術(shù)， 但要實(shí)現高質(zhì)量、高性能的人形機器人，需要專(zhuān)業(yè)的算法團隊進(jìn)行深入研究和開(kāi)發(fā)。

附件：機器人的大腦—具身智能，生成運動(dòng)姿態(tài)，實(shí)現更高級的決策能力