EmplifAI咨询引进方案
VLA/模仿学习

VLA・模仿学习开发写不出来的动作,就从人的示范中学。

对象物的形状或位置每次都变的作业,很难把动作写成程序。我们致力于从人的示范学习动作的模仿学习,以及将视觉・语言理解接到动作生成的VLA实装。

模仿学习VLALeRobot实机评估
咨询VLA・模仿学习
展示学习数据整备流程的示意图:作业条件的定义、示范数据的采集、确认与交付
整备学习数据的工序
NVIDIA ISAAC SIM

工厂/仓库运输模拟

Unitree G1

Isaac Sim 中的物理模拟验证了双手握住 0.25 kg 盒子,行走约 1.2 m,并将其放置在另一个平台上的行为。这不是实际机器的视频。

Unitree G1:抓取、行走运输、卸载(模拟)

RealMan RMC-AIDAL

我们握住一个假设的运输箱的手柄,该运输箱的机身尺寸为 30 x 20 x 20 cm,总重量为 10 kg,并验证了用轮子运输它约 1.2 m、将其放在支架上然后释放的过程。这是物理模拟,修正了公共CAD模型的重心和接触设置,并不保证实际机器的负载能力。

RealMan RMC-AIDAL:10 公斤箱的抓取、轮式运输和卸载(模拟)

RealMan RMC-AIDAL:用双臂运输 10 公斤箱

我们验证了用双手使用左右手柄握住一个假设的运输箱,其机身尺寸为 30 x 40 x 20 cm,总重量为 10 kg,运输约 1.2 m,并将其放置在支架上的操作。运输过程中,左右手的接触和负载分配都会被记录。这是物理模拟,修正了公共CAD模型的重心和接触设置,并不保证实际机器的负载能力。

RealMan RMC-AIDAL:双手抓握、搬运10公斤、卸载(模拟)

您还可以咨询我们针对您的业务量身定制的模拟和演示实验,例如补充货架、供应零件箱和分类。

WHY

有些作业写不成程序

若是在固定位置抓取固定物体,直接写出动作更可靠也更快。搬出学习的意义,只在于写不出来的作业。

对象物形状因个体而异、摆放方式每次不同、像袋子或布一样会变形。这类作业无法把条件分支写尽,通过展示人的示范来获得动作的方法才现实。

另一方面,学习并非万能。所需数据量随作业难度与要求的成功率而变,有些部分不真正采集就看不清。我们先做试验性采集,判断清楚后再进入正式采集。

VISION TO ACTION

实现示例:Gemini 4 Argon × Unitree G1(从视觉到行动的转换)

使用 Gemini 4 Argon,我们成功验证了 Unitree G1 在不使用任何硬编码动作的情况下抓取并举起塑料瓶。 AI将摄像头的视觉信息直接转换为机器人动作,并根据情况生成抓取动作,即使物体重新定位又重新定位。

我们将使用这个基本模型、VLA 和基于人类表现数据的模仿学习来设计和实现视觉动作生成,针对目标飞机和现场工作条件进行定制。

SCOPE

可承接的范围

01

对象作业的切分

我们区分应由学习解决的部分与直接写出来更快的部分。并非全部都需要学习。

02

示范数据的采集设计

记录什么、从哪个视角、记录多少。我们设计对象作业、机体与品质基准。

03

通过远程操作的实演

将操作者的身体动作转写至机器人,在实机作业的同时采集数据。运营与采集可并行推进。

04

模仿学习的实装

用采集到的数据训练动作,并评估成功率。以ROS 2 / LeRobot为基础实装。

05

VLA的实装

将视觉与语言的理解接到动作生成。该构成依据语言指令与眼前状况决定下一个动作。

06

实机评估

我们不在基准测试上,而是在对象现场测量成功率与节拍。通过改变条件确定成立范围。

DATA

数据是一切的地基

学习的成败,在模型之前先由数据决定。视角不足、没有失败案例、作业条件摇摆不定——用这样的数据训练,在现场是动不了的。

我们在设计对象作业・机体・采集量・品质基准之后,从实机获取数据。也备有在远程操作让机体实际作业的同时,同步记录视觉・行动・对话・非语言的构成。

也可以只承接数据采集,或仅就采集环境的搭建提供咨询。

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1:实机运行验证

我们在 Unitree G1 实机上运行了 NVIDIA GEAR Sonic,并验证了其运行情况。以下视频展示了验证过程。

NVIDIA GEAR Sonic × Unitree G1 — 实机运行验证
GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1:将视觉转化为行动的自主抓取演示

我们使用Gemini 4 Argon进行了实际机器测试,其中Unitree G1抓取并举起塑料瓶。不使用硬编码运动; AI直接将相机的视觉信息转化为动作。

即使你改变了物体的位置并再次放置它,人工智能也会从视觉上了解情况并产生抓取动作。我们还接受使用Unitree G1实施物理AI/VLA以及针对目标业务量身定制的PoC/演示实验的合同开发。

Gemini 4 Argon × Unitree G1 — 没有硬编码的动作,人工智能将视觉转化为行动来抓住塑料瓶(照片在我们自己的实验室拍摄)
FAQ

常见问题

我需要多少训练数据?

随作业难度、环境变动幅度与要求的成功率而变。我们先做试验性采集,判断所需数量与品质基准后再进入正式采集,不会一开始就承诺总量。

我们没有数据,也能开始吗?

可以。我们也负责采集设计。采用远程操作让实机作业的同时进行记录的构成,运营与数据采集可并行推进。

可以在哪些机器人上实装?

只要是可通过ROS 2或机体SDK控制的机型都可以商谈。支持二次开发的型号更易处理。请告知对象机型。

VLA与模仿学习有什么区别?

模仿学习是从人的示范中获得动作的方法的统称。VLA指的是将视觉与语言理解接到动作生成的模型构成,不同之处在于能处理语言指令。我们依对象作业分别采用。

CONTACT

关于VLA・模仿学习的咨询

请告知对象作业、机体,以及目前持有数据的状况。我们会从「哪些该用学习解决」的切分开始与您同行。

咨询VLA・模仿学习

CONTACT

联系我们

如对我们的服务有任何疑问,请随时与我们联系。

您有什么样的咨询?必填