EmplifAI咨询引进方案
VLA/模仿学习

VLA・模仿学习开发写不出来的动作,就从人的示范中学。

对象物的形状或位置每次都变的作业,很难把动作写成程序。我们致力于从人的示范学习动作的模仿学习,以及将视觉・语言理解接到动作生成的VLA实装。

模仿学习VLALeRobot实机评估
咨询VLA・模仿学习
展示学习数据整备流程的示意图:作业条件的定义、示范数据的采集、确认与交付
整备学习数据的工序
WHY

有些作业写不成程序

若是在固定位置抓取固定物体,直接写出动作更可靠也更快。搬出学习的意义,只在于写不出来的作业。

对象物形状因个体而异、摆放方式每次不同、像袋子或布一样会变形。这类作业无法把条件分支写尽,通过展示人的示范来获得动作的方法才现实。

另一方面,学习并非万能。所需数据量随作业难度与要求的成功率而变,有些部分不真正采集就看不清。我们先做试验性采集,判断清楚后再进入正式采集。

SCOPE

可承接的范围

01

对象作业的切分

我们区分应由学习解决的部分与直接写出来更快的部分。并非全部都需要学习。

02

示范数据的采集设计

记录什么、从哪个视角、记录多少。我们设计对象作业、机体与品质基准。

03

通过远程操作的实演

将操作者的身体动作转写至机器人,在实机作业的同时采集数据。运营与采集可并行推进。

04

模仿学习的实装

用采集到的数据训练动作,并评估成功率。以ROS 2 / LeRobot为基础实装。

05

VLA的实装

将视觉与语言的理解接到动作生成。该构成依据语言指令与眼前状况决定下一个动作。

06

实机评估

我们不在基准测试上,而是在对象现场测量成功率与节拍。通过改变条件确定成立范围。

DATA

数据是一切的地基

学习的成败,在模型之前先由数据决定。视角不足、没有失败案例、作业条件摇摆不定——用这样的数据训练,在现场是动不了的。

我们在设计对象作业・机体・采集量・品质基准之后,从实机获取数据。也备有在远程操作让机体实际作业的同时,同步记录视觉・行动・对话・非语言的构成。

也可以只承接数据采集,或仅就采集环境的搭建提供咨询。

FAQ

常见问题

我需要多少训练数据?

随作业难度、环境变动幅度与要求的成功率而变。我们先做试验性采集,判断所需数量与品质基准后再进入正式采集,不会一开始就承诺总量。

我们没有数据,也能开始吗?

可以。我们也负责采集设计。采用远程操作让实机作业的同时进行记录的构成,运营与数据采集可并行推进。

可以在哪些机器人上实装?

只要是可通过ROS 2或机体SDK控制的机型都可以商谈。支持二次开发的型号更易处理。请告知对象机型。

VLA与模仿学习有什么区别?

模仿学习是从人的示范中获得动作的方法的统称。VLA指的是将视觉与语言理解接到动作生成的模型构成,不同之处在于能处理语言指令。我们依对象作业分别采用。

CONTACT

关于VLA・模仿学习的咨询

请告知对象作业、机体,以及目前持有数据的状况。我们会从「哪些该用学习解决」的切分开始与您同行。

咨询VLA・模仿学习

CONTACT

联系我们

如对我们的服务有任何疑问,请随时与我们联系。

您有什么样的咨询?必填