觀點網訊:當地時間11月4日,蘋果研究團隊在預印本平臺arXiv提交論文《Perceptive Humanoid Motion from Simulation》,披露人形機器人自主控制系統HALO的進展。

研究團隊將HALO系統部署在宇樹科技的G1人形機器人上進行驗證。在6個未預先掃描或建圖的真實環境中開展360次單項任務測試,平均成功率為91%。

另在一個真實環境中,對3種組合任務分別開展10次測試,平均成功率為70%。

研究團隊公開了HALO系統相關代碼,涵蓋動作生成、動作跟蹤、任務編排以及仿真和真實機器人運行等環節。據披露,該系統調用阿里千問模型,採用三層架構實現從指令理解到全身動作控制。

研究團隊同時指出當前侷限:新增物理任務仍需人工編寫提示詞、設計動作關鍵幀;機器人主要依賴視覺感知,難以直接感知接觸情況,當物體離開相機視野或被遮擋時表現會下降,加入觸覺感知是後續改進方向之一。