EmplifAI洽詢導入方案
VLA/模仿學習

VLA・模仿學習開發寫不出來的動作,就從人的示範中學。

對象物的形狀或位置每次都變的作業,很難把動作寫成程式。我們致力於從人的示範學習動作的模仿學習,以及將視覺・語言理解接到動作生成的VLA實作。

模仿學習VLALeRobot實機評估
諮詢VLA・模仿學習
展示學習資料整備流程的示意圖:作業條件的定義、示範資料的採集、確認與交付
整備學習資料的工序
NVIDIA ISAAC SIM

工廠/倉庫運輸模擬

Unitree G1

Isaac Sim 中的物理模擬驗證了雙手握住 0.25 kg 盒子,行走約 1.2 m,並將其放置在另一個平臺上的行為。這不是實際機器的影片。

Unitree G1:抓取、行走運輸、卸載(模擬)

RealMan RMC-AIDAL

我們握住一個假設的運輸箱的手柄,該運輸箱的機身尺寸為 30 x 20 x 20 cm,總重量為 10 kg,並驗證了用輪子運輸它約 1.2 m、將其放在支架上然後釋放的過程。這是實體模擬,修正了公共CAD模型的重心和接觸設置,並不保證實際機器的負載能力。

RealMan RMC-AIDAL:10 kg 箱的抓取、輪式運輸和卸載(模擬)

RealMan RMC-AIDAL:用雙臂運送 10 公斤箱

我們驗證了用雙手使用左右手柄握住一個假設的運輸箱,其機身尺寸為 30 x 40 x 20 cm,總重量為 10 kg,運輸約 1.2 m,並將其放置在支架上的操作。在運輸過程中,左右手的接觸和負載分配都會被記錄下來。這是實體模擬,修正了公共CAD模型的重心和接觸設置,並不保證實際機器的負載能力。

RealMan RMC-AIDAL:雙手抓握、搬運10公斤、卸載(模擬)

您也可以諮詢我們針對您的業務量身定製的模擬和演示實驗,例如補充貨架、供應零件箱和分類。

WHY

有些作業寫不成程式

若是在固定位置抓取固定物體,直接寫出動作更可靠也更快。搬出學習的意義,只在於寫不出來的作業。

對象物形狀因個體而異、擺放方式每次不同、像袋子或布一樣會變形。這類作業無法把條件分支寫盡,透過展示人的示範來獲得動作的方法才現實。

另一方面,學習並非萬能。所需資料量隨作業難度與要求的成功率而變,有些部分不真正採集就看不清。我們先做試驗性採集,判斷清楚後再進入正式採集。

VISION TO ACTION

實作範例:Gemini 4 Argon × Unitree G1(從視覺到行動的轉換)

使用 Gemini 4 Argon,我們成功驗證了 Unitree G1 在不使用任何硬編碼動作的情況下抓取並舉起塑膠瓶。 AI將相機的視覺訊息直接轉換為機器人動作,並根據情況產生抓取動作,即使物體重新定位又重新定位。

我們將使用這個基本模型、VLA 和基於人類表現數據的模仿學習來設計和實現視覺動作生成,針對目標飛機和現場工作條件進行客製化。

SCOPE

可承接的範圍

01

對象作業的切分

我們區分應由學習解決的部分與直接寫出來更快的部分。並非全部都需要學習。

02

示範資料的採集設計

記錄什麼、從哪個視角、記錄多少。我們設計對象作業、機體與品質基準。

03

透過遠端操作的實演

將操作者的身體動作轉寫至機器人,在實機作業的同時採集資料。營運與採集可並行推進。

04

模仿學習的實作

用採集到的資料訓練動作,並評估成功率。以ROS 2 / LeRobot為基礎實作。

05

VLA的實作

將視覺與語言的理解接到動作生成。該構成依據語言指令與眼前狀況決定下一個動作。

06

實機評估

我們不在基準測試上,而是在對象現場測量成功率與節拍。透過改變條件確定成立範圍。

DATA

資料是一切的地基

學習的成敗,在模型之前先由資料決定。視角不足、沒有失敗案例、作業條件搖擺不定——用這樣的資料訓練,在現場是動不了的。

我們在設計對象作業・機體・採集量・品質基準之後,從實機取得資料。也備有在遠端操作讓機體實際作業的同時,同步記錄視覺・行動・對話・非語言的構成。

也可以只承接資料採集,或僅就採集環境的搭建提供諮詢。

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1:實機運作驗證

我們在 Unitree G1 實機上執行了 NVIDIA GEAR Sonic,並確認其運作情況。以下影片展示了驗證過程。

NVIDIA GEAR Sonic × Unitree G1 — 實機運作驗證
GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1:將視覺轉化為行動的自主抓取演示

我們使用Gemini 4 Argon進行了實際機器測試,其中Unitree G1抓取並舉起塑膠瓶。不使用硬編碼運動; AI直接將相機的視覺訊息轉化為動作。

即使你改變了物體的位置並再次放置它,人工智慧也會從視覺上了解情況並產生抓取動作。我們也接受使用Unitree G1實施實體AI/VLA以及針對目標業務量身定製的PoC/演示實驗的合約開發。

Gemini 4 Argon × Unitree G1 — 沒有硬編碼的動作,人工智慧將視覺轉化為行動來抓住塑膠瓶(照片在我們自己的實驗室拍攝)
FAQ

常見問題

我需要多少訓練資料?

隨作業難度、環境變動幅度與要求的成功率而變。我們先做試驗性採集,判斷所需數量與品質基準後再進入正式採集,不會一開始就承諾總量。

我們沒有資料,也能開始嗎?

可以。我們也負責採集設計。採用遠端操作讓實機作業的同時進行記錄的構成,營運與資料採集可並行推進。

可以在哪些機器人上實作?

只要是可透過ROS 2或機體SDK控制的機型都可以商談。支援二次開發的型號更易處理。請告知對象機型。

VLA與模仿學習有什麼區別?

模仿學習是從人的示範中獲得動作的方法的統稱。VLA指的是將視覺與語言理解接到動作生成的模型構成,不同之處在於能處理語言指令。我們依對象作業分別採用。

CONTACT

關於VLA・模仿學習的諮詢

請告知對象作業、機體,以及目前持有資料的狀況。我們會從「哪些該用學習解決」的切分開始與您同行。

諮詢VLA・模仿學習

CONTACT

聯絡我們

如對我們的服務有任何疑問,請隨時與我們聯絡。

您有什麼樣的諮詢?必填