OpenArm 開發用裝在自家機體上的手臂,一路帶到訓練。
EmplifAI 的雙臂移動式人形機器人 OpenShell,手臂採用 OpenArm 01。從組裝、透過遠端操作進行示範,到把記錄用於訓練,這一整段路我們都在自己手裡走通過。同樣的路徑,用在您的 OpenArm 上。我們承接模仿學習與 VLA 的實作,以及為此所需的資料採集環境搭建。
諮詢 OpenArm 開發
手臂拿得到。卡住的是它之後
OpenArm 是開源的,因此拿到設計並組裝出來,許多實驗室和開發團隊都能自行完成。卡住的是下一步。手臂能動了,卻定不下來要記錄什麼、記錄多少次、在什麼條件下記錄,訓練才跑得起來。資料攢了不少,放到實機上卻無法重現。
EmplifAI 在 OpenShell 的手臂上採用 OpenArm 01,以單臂七軸加夾爪一軸構成雙臂。連「把手臂反向安裝,讓肘部朝前」這樣的判斷,也都在實機上確認過。這是一支完整走過組裝、遠端操作示範、同步記錄、訓練、實機評估這一整段的團隊。
因此,諮詢最契合的時點是「手臂有了,但進不到訓練」的階段。只要確定要針對哪項作業,我們就從所需的資料條件與採集環境的形態開始,與您一起定義。
可承接的範圍
以訓練,以及為此所需的資料採集環境為中心。機體側的作業,也在訓練所需的範圍內承接。
模仿學習的實作
從人的示範中讓 OpenArm 學習動作。包含目標作業的切分、訓練的實作,以及在實機上的評估。支援基於 LeRobot 的構成。
VLA的實作
把視覺與語言的理解連接到動作生成的 VLA 實作。負責那些無法把動作寫下來的領域,例如對象物的形狀或位置每次都改變的作業。
搭建資料採集環境
從設計記錄什麼、在什麼條件下、記錄多少次,到搭建採集環境。讓影像與動作能夠對齊時間記錄下來。
以遠端操作進行的示範環境
用於取得示範資料的操作環境。我們具備以雙向控制主控臂實現力回饋、可降低動作倍率的精密模式,以及 VR 控制器操作的實作經驗。
組裝、改造與整合
訓練所需範圍內的機體側作業。加裝手爪與感測器、配線與電裝、在 ROS 2 上的整合。零件各自能動、整合起來卻不動,這就是實機。
實機評估
把訓練好的模型放到實機上,測量成功率與可重現性。也包含在模擬中成立的結果於實機上崩掉時的原因釐清。
推進方式
先收斂到單一目標作業開始。擴大範圍是在那之後。
- 01 選定目標作業
- 先確定只訓練一件事。若在此處保持寬泛,所需的資料量會無止境地增加。
- 02 設計資料條件
- 決定記錄的項目、試行次數,以及要變動的條件。訓練跑不跑得起來,幾乎在這裡就決定了。
- 03 搭建採集環境
- 搭建示範與記錄的環境。是在既有環境上增補,還是重新搭建,視情況而定。
- 04 資料採集
- 進行示範並記錄。採集本身可以由我們承接,也可以把環境交給您自行運作。
- 05 訓練與實作
- 實作模仿學習或 VLA,並把訓練跑起來。
- 06 實機評估
- 放到實機上測量成功率與可重現性,並把條件收緊。
與開發成套,出借實機
僅在委託我們進行開發的情況下,我們會一併提供驗證期間的實機出借。即使手邊還沒有機體,也能從實機上的確認開始。
我們不承接實機單獨的租賃。只把手臂借出的形式,無法伴隨把它帶到可運作狀態的支援,也就幫不上忙。
常見問題
我們還沒有 OpenArm,可以諮詢嗎?
可以。若委託我們進行開發,我們能一併準備驗證期間使用的實機。歡迎從構成的選定開始諮詢。另外,我們不承接實機單獨的租賃。
需要多少資料?
會因目標作業與變動條件的幅度而有很大差異。處理相同位置、相同對象物的作業,與每次形狀或位置都改變的作業,所需量相差一個數量級。建議先收斂到單一目標,用少量跑過一輪後再判斷。
我們已經在採集資料,但訓練無法重現。
從這個階段開始的諮詢我們也承接。會先釐清是記錄條件不足、實機個體差異,還是訓練這一側的問題。有時會判斷需要重新採集,請盡早聯繫我們。
OpenArm 以外的機體也能對應嗎?
可以。若尚未決定機體或使用其他機體,也請一併參閱 VLA・模仿學習開發的頁面。聚焦 OpenArm 的本頁,是給已經決定機體的人看的內容。
訓練好的模型與採集到的資料,權利歸屬如何處理?
於簽約時約定。委託開發、共同研究等形態不同,處理方式也不同,請在企劃階段與我們商談。
OpenArm 開發諮詢
請告知希望學習的作業,以及目前機體與環境的狀況。無論是「手臂有了但進不到訓練」的階段,還是接下來才要準備機體的階段,都沒有問題。由以自家人形機器人走過同一段路的團隊負責。
諮詢 OpenArm 開發