VLA・模仿学习开发写不出来的动作,就从人的示范中学。
对象物的形状或位置每次都变的作业,很难把动作写成程序。我们致力于从人的示范学习动作的模仿学习,以及将视觉・语言理解接到动作生成的VLA实装。
咨询VLA・模仿学习有些作业写不成程序
若是在固定位置抓取固定物体,直接写出动作更可靠也更快。搬出学习的意义,只在于写不出来的作业。
对象物形状因个体而异、摆放方式每次不同、像袋子或布一样会变形。这类作业无法把条件分支写尽,通过展示人的示范来获得动作的方法才现实。
另一方面,学习并非万能。所需数据量随作业难度与要求的成功率而变,有些部分不真正采集就看不清。我们先做试验性采集,判断清楚后再进入正式采集。
可承接的范围
对象作业的切分
我们区分应由学习解决的部分与直接写出来更快的部分。并非全部都需要学习。
示范数据的采集设计
记录什么、从哪个视角、记录多少。我们设计对象作业、机体与品质基准。
通过远程操作的实演
将操作者的身体动作转写至机器人,在实机作业的同时采集数据。运营与采集可并行推进。
模仿学习的实装
用采集到的数据训练动作,并评估成功率。以ROS 2 / LeRobot为基础实装。
VLA的实装
将视觉与语言的理解接到动作生成。该构成依据语言指令与眼前状况决定下一个动作。
实机评估
我们不在基准测试上,而是在对象现场测量成功率与节拍。通过改变条件确定成立范围。
数据是一切的地基
学习的成败,在模型之前先由数据决定。视角不足、没有失败案例、作业条件摇摆不定——用这样的数据训练,在现场是动不了的。
我们在设计对象作业・机体・采集量・品质基准之后,从实机获取数据。也备有在远程操作让机体实际作业的同时,同步记录视觉・行动・对话・非语言的构成。
也可以只承接数据采集,或仅就采集环境的搭建提供咨询。
常见问题
我需要多少训练数据?
随作业难度、环境变动幅度与要求的成功率而变。我们先做试验性采集,判断所需数量与品质基准后再进入正式采集,不会一开始就承诺总量。
我们没有数据,也能开始吗?
可以。我们也负责采集设计。采用远程操作让实机作业的同时进行记录的构成,运营与数据采集可并行推进。
可以在哪些机器人上实装?
只要是可通过ROS 2或机体SDK控制的机型都可以商谈。支持二次开发的型号更易处理。请告知对象机型。
VLA与模仿学习有什么区别?
模仿学习是从人的示范中获得动作的方法的统称。VLA指的是将视觉与语言理解接到动作生成的模型构成,不同之处在于能处理语言指令。我们依对象作业分别采用。
关于VLA・模仿学习的咨询
请告知对象作业、机体,以及目前持有数据的状况。我们会从「哪些该用学习解决」的切分开始与您同行。
咨询VLA・模仿学习