VLA・模仿學習開發寫不出來的動作,就從人的示範中學。
對象物的形狀或位置每次都變的作業,很難把動作寫成程式。我們致力於從人的示範學習動作的模仿學習,以及將視覺・語言理解接到動作生成的VLA實作。
諮詢VLA・模仿學習工廠/倉庫運輸模擬
Unitree G1
Isaac Sim 中的物理模擬驗證了雙手握住 0.25 kg 盒子,行走約 1.2 m,並將其放置在另一個平臺上的行為。這不是實際機器的影片。
RealMan RMC-AIDAL
我們握住一個假設的運輸箱的手柄,該運輸箱的機身尺寸為 30 x 20 x 20 cm,總重量為 10 kg,並驗證了用輪子運輸它約 1.2 m、將其放在支架上然後釋放的過程。這是實體模擬,修正了公共CAD模型的重心和接觸設置,並不保證實際機器的負載能力。
RealMan RMC-AIDAL:用雙臂運送 10 公斤箱
我們驗證了用雙手使用左右手柄握住一個假設的運輸箱,其機身尺寸為 30 x 40 x 20 cm,總重量為 10 kg,運輸約 1.2 m,並將其放置在支架上的操作。在運輸過程中,左右手的接觸和負載分配都會被記錄下來。這是實體模擬,修正了公共CAD模型的重心和接觸設置,並不保證實際機器的負載能力。
您也可以諮詢我們針對您的業務量身定製的模擬和演示實驗,例如補充貨架、供應零件箱和分類。
環境/盒子 3D 材質: NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · 我們正在調整材質轉換、尺寸和顯示材質。
有些作業寫不成程式
若是在固定位置抓取固定物體,直接寫出動作更可靠也更快。搬出學習的意義,只在於寫不出來的作業。
對象物形狀因個體而異、擺放方式每次不同、像袋子或布一樣會變形。這類作業無法把條件分支寫盡,透過展示人的示範來獲得動作的方法才現實。
另一方面,學習並非萬能。所需資料量隨作業難度與要求的成功率而變,有些部分不真正採集就看不清。我們先做試驗性採集,判斷清楚後再進入正式採集。
實作範例:Gemini 4 Argon × Unitree G1(從視覺到行動的轉換)
使用 Gemini 4 Argon,我們成功驗證了 Unitree G1 在不使用任何硬編碼動作的情況下抓取並舉起塑膠瓶。 AI將相機的視覺訊息直接轉換為機器人動作,並根據情況產生抓取動作,即使物體重新定位又重新定位。
我們將使用這個基本模型、VLA 和基於人類表現數據的模仿學習來設計和實現視覺動作生成,針對目標飛機和現場工作條件進行客製化。
可承接的範圍
對象作業的切分
我們區分應由學習解決的部分與直接寫出來更快的部分。並非全部都需要學習。
示範資料的採集設計
記錄什麼、從哪個視角、記錄多少。我們設計對象作業、機體與品質基準。
透過遠端操作的實演
將操作者的身體動作轉寫至機器人,在實機作業的同時採集資料。營運與採集可並行推進。
模仿學習的實作
用採集到的資料訓練動作,並評估成功率。以ROS 2 / LeRobot為基礎實作。
VLA的實作
將視覺與語言的理解接到動作生成。該構成依據語言指令與眼前狀況決定下一個動作。
實機評估
我們不在基準測試上,而是在對象現場測量成功率與節拍。透過改變條件確定成立範圍。
資料是一切的地基
學習的成敗,在模型之前先由資料決定。視角不足、沒有失敗案例、作業條件搖擺不定——用這樣的資料訓練,在現場是動不了的。
我們在設計對象作業・機體・採集量・品質基準之後,從實機取得資料。也備有在遠端操作讓機體實際作業的同時,同步記錄視覺・行動・對話・非語言的構成。
也可以只承接資料採集,或僅就採集環境的搭建提供諮詢。
NVIDIA GEAR Sonic × Unitree G1:實機運作驗證
我們在 Unitree G1 實機上執行了 NVIDIA GEAR Sonic,並確認其運作情況。以下影片展示了驗證過程。
Gemini 4 Argon × Unitree G1:將視覺轉化為行動的自主抓取演示
我們使用Gemini 4 Argon進行了實際機器測試,其中Unitree G1抓取並舉起塑膠瓶。不使用硬編碼運動; AI直接將相機的視覺訊息轉化為動作。
即使你改變了物體的位置並再次放置它,人工智慧也會從視覺上了解情況並產生抓取動作。我們也接受使用Unitree G1實施實體AI/VLA以及針對目標業務量身定製的PoC/演示實驗的合約開發。
常見問題
我需要多少訓練資料?
隨作業難度、環境變動幅度與要求的成功率而變。我們先做試驗性採集,判斷所需數量與品質基準後再進入正式採集,不會一開始就承諾總量。
我們沒有資料,也能開始嗎?
可以。我們也負責採集設計。採用遠端操作讓實機作業的同時進行記錄的構成,營運與資料採集可並行推進。
可以在哪些機器人上實作?
只要是可透過ROS 2或機體SDK控制的機型都可以商談。支援二次開發的型號更易處理。請告知對象機型。
VLA與模仿學習有什麼區別?
模仿學習是從人的示範中獲得動作的方法的統稱。VLA指的是將視覺與語言理解接到動作生成的模型構成,不同之處在於能處理語言指令。我們依對象作業分別採用。
關於VLA・模仿學習的諮詢
請告知對象作業、機體,以及目前持有資料的狀況。我們會從「哪些該用學習解決」的切分開始與您同行。
諮詢VLA・模仿學習