EmplifAI咨询引进方案
物理人工智能

什么是物理人工智能?有了实体的人工智能开始在现实世界中发挥作用。

物理人工智能是人工智能的一个领域,它可以识别现实世界并通过移动身体来工作。与在屏幕上生成文本和图像的人工智能不同,它需要在具有物理规律和不确定性的现实中产生结果。 EmplifAI 正在通过开发我们自己的人形机器人 OpenShell 致力于该领域的社会实施。

模仿学习/VLASim2Real人形生物远程控制
咨询物理AI开发
物理人工智能的开发周期图,从模拟学习到实际评估,并根据结果进行改进。
在模拟和实际机器之间来回的开发周期
NVIDIA ISAAC SIM

工厂/仓库运输模拟

Unitree G1

Isaac Sim 中的物理模拟验证了双手握住 0.25 kg 盒子,行走约 1.2 m,并将其放置在另一个平台上的行为。这不是实际机器的视频。

Unitree G1:抓取、行走运输、卸载(模拟)

RealMan RMC-AIDAL

我们握住一个假设的运输箱的手柄,该运输箱的机身尺寸为 30 x 20 x 20 cm,总重量为 10 kg,并验证了用轮子运输它约 1.2 m、将其放在支架上然后释放的过程。这是物理模拟,修正了公共CAD模型的重心和接触设置,并不保证实际机器的负载能力。

RealMan RMC-AIDAL:10 公斤箱的抓取、轮式运输和卸载(模拟)

RealMan RMC-AIDAL:用双臂运输 10 公斤箱

我们验证了用双手使用左右手柄握住一个假设的运输箱,其机身尺寸为 30 x 40 x 20 cm,总重量为 10 kg,运输约 1.2 m,并将其放置在支架上的操作。运输过程中,左右手的接触和负载分配都会被记录。这是物理模拟,修正了公共CAD模型的重心和接触设置,并不保证实际机器的负载能力。

RealMan RMC-AIDAL:双手抓握、搬运10公斤、卸载(模拟)

您还可以咨询我们针对您的业务量身定制的模拟和演示实验,例如补充货架、供应零件箱和分类。

INTERACTIVE 3D DIGITAL TWIN — WEBGL LIVE VIEWER

3D 数字孪生,具有 1080 万个测量点,可在浏览器上 360° 移动

这是使用我们自己的 XGRIDS Lixel K2 在 EmplifAI 的机器人开发实验室(Unitree G1 人形/双臂机器人安装环境)中行走仅 89 秒时测量的实际数据。除了可以通过拖动或滑动鼠标进行360°旋转和缩放之外,您还可以体验四种显示模式之间的切换、天花板切片(横截面切割)以及现场跳至机器人安装点的视点跳跃。

89秒整个房间的步行测量(轨迹26.2m)
1080万点高密度全彩RGB+反射强度点云
68.3 ㎡宽 9.78m × 深 8.92m × 天花板高度 2.13m
12MP x 3 眼完全同步实景摄像机图像和 3D 坐标
单击 3D 空间中的“🤖 Unitree G1”和“🦾 机器人工作单元”标记来移动视点。
在新选项卡中打开
SPATIAL AI × PHYSICAL AI SYNERGY

XGRIDS 3D空间数据×物理AI可以做什么?

3D 扫描场地的最大价值不仅仅在于创建供人类查看的绘图。通过将毫米级3D空间数据与EmplifAI的人形机器人(Unitree G1等)、双臂机械臂(OpenArm)、VLA模型和NVIDIA Isaac Sim环境相结合,从机器人入门预诊断到虚拟训练、自主运动和远程控制,一切都将发生巨大变化。

REAL2SIM / NVIDIA ISAAC SIM

89秒数字化真实空间,打造人形、双臂机器人移动的虚拟验证环境

即使在没有图纸的工厂、仓库和研究设施中,您只需使用 XGRIDS Lixel K2 走动即可获得整个房间的 3D 点云和实景纹理。在EmplifAI实验室的实际测量数据中,整个空间(68.3平方米,1080万个点),包括窗边的人形机器人(Unitree G1)和中心的双臂机器人工作单元,仅用了89秒就转换成了空间数据。通过将获取的空间导入 NVIDIA Isaac Sim 或 ROS 2 环境,您可以在将实际机器带到现场之前运行步行路线、全身控制和抓取动作的模拟 (Real2Sim2Real)。

通过这种组合可以实现什么

  • 构建一个全尺寸的 3D 虚拟空间,人形机器人和 AMR 只需在现场走动即可运行和工作。
  • NVIDIA Isaac Sim、USD、ROS 2的碰撞检测模型和导航地图转换配合
  • 直接反映现场夹具、工作台、障碍物的机器人强化学习和模仿学习环境生成
实验室测量:89秒获得68.3㎡(1080万点)→部署到Isaac Sim / 3DGS环境
XGRIDS Lixel K2 的 1200 万像素三摄像头实景视频与 1080 万点 3D 数字孪生/CAD 平面图完全同步比较
三重 12MP 真人相机(人形 G1/机械臂工作台)和 1080 万点 3D 数字孪生一对一空间同步
Unitree G1 人形机器人和 OpenShell 双臂机器人框架放置在扫描空间中的实景摄像机图像
K2内置摄像头同步记录的实验室Unitree G1实机和双臂机器人开发环境
3D SCAN & WALKTHROUGH SHOWCASE VIDEOS

观看视频:从 89 秒的演练到创建具有 1080 万点的 3D 空间

您可以在使用 XGRIDS Lixel K2 实际测量的实验室空间的 360° 多模态分析视频和通过激光扫描创建的 1080 万点空间构建视频之间进行切换。

360°旋转×3种模式连续变化(全彩RGB→网络仰角→LiDAR X-Ray)

这是一段展示视频,旋转单次步行扫描(89 秒)生成的 1080 万点 3D 空间数据,并以 360° 旋转方式显示,同时在三种模式之间无缝切换:真人全彩 RGB、按高度的网络高程全息图和基于激光反射强度的 X 射线透视。

DEFINITION

物理AI的意义

物理人工智能是一个术语,指的是通过身体识别现实世界、做出决策和工作的人工智能。它用摄像头和距离传感器捕捉周围环境,决定下一步采取什么行动,并移动手臂、轮子和腿来影响物体和人。如果换个说法,“有身体的人工智能”,可能会更容易理解。

近年来它之所以迅速引起人们的关注,是因为大规模模型现在可以应用于机器人控制。到目前为止,机器人的动作必须由人类针对每项任务进行详细编程。在物理人工智能中,通过向人们展示他们正在做什么来学习动作,或者根据口头指令生成动作变得更加现实。

然而,这个领域并不像生成人工智能那么容易。如果你正在生成句子,即使你得到一些奇怪的输出,你也可以重写它。真身无法重塑。如果您将东西掉落在其上,它可能会破裂,如果您撞到某人,则可能会很危险。物理AI的困难在于确保它在这种“不可逆转”的情况下发挥作用。

VS GENERATIVE AI

与AI一代的差异

即使是相同的人工智能,根据目标不同,所需的技术和评估方法也会有所不同。

01

所要处理的对象是现实。

一代AI的输入和输出都是数据。物理AI的输出是物理运动,这取决于摩擦、重量、偏转和滑动等条件。相同的指令不会每次都产生相同的结果。

02

失败的成本很高

您可以重写文本,但无法恢复丢失的内容。确保安全性和可重复性与性能同样重要,甚至更重要。

03

训练数据不足

与互联网上提供的大量文本和图像不同,您别无选择,只能自己收集机器人运动数据。数据收集本身就是开发的重要组成部分。

04

不允许延误

控制有固定的周期。如果反应迟缓,姿势就会崩溃,动作就会失败。平衡计算量和响应速度是设计约束。

05

评估取决于领域

实际领域的成功率比基准数字更有意义。如果环境发生变化,例如照明、地板表面和人的动作,结果也会发生变化。

06

与机身设计密不可分

您可以学到的内容会根据您使用的手类型以及您拥有的自由度而变化。软件不能孤立地开发。

TECHNOLOGY

支持物理人工智能的技术

这就是EmplifAI实际正在研究的基础技术。

模仿学习
一种从人类执行的任务演示中学习机器人动作的方法。我们不是把动作写在程序中,而是通过演示来教他们。
VLA(Vision-Language-Action)
将视觉和语言理解与动作生成联系起来的模型。根据口头指示和眼前的情况决定下一步行动。
Sim2Real
一种将通过仿真学习和验证的控制转移到实际机器的方法。设计时需要考虑摩擦力、质量、传感器误差和通信延迟等差异。
远程控制/智真
将操作员的身体动作和意图实时传输给机器人的技术。它既可以用于自动化之前的实际操作,也可以用于收集学习数据。
训练数据的收集
设计目标工作、设备、收集量和质量标准,并使用实际设备获取数据的过程。这将成为物理人工智能开发的基础。
ROS 2 / LeRobot
用于实现机器人控制和学习的基础。设计包括与现有飞机SDK的连接。
APPLICATION

应用于人形机器人

类人机器人作为物理人工智能的潜在来源而引起人们的关注。原因很简单:您可以按原样使用为人们创建的环境。与专用机的不同之处在于,无需安装新的专用设备即可带到现场。

OpenShell由EmplifAI开发,是一款28轴人形机器人,结合了富有表现力的头部、双臂和手推车。我选择这种配置是为了同时研究工作能力和如何与人互动。拥有面孔可以让人们更轻松地与您交谈并传达您的意图。虽然这没有出现在性能表中,但是在有人在场的工作场所中绝对是有效的。

在实施某件事时,从远程控制开始,逐步扩大自动化范围,比一开始就瞄准完全自动化更为现实。学习数据随着站点的远程操作而积累,这些数据成为自动化的材料。

服务

支持物理AI开发

OpenShell

内部开发的人形机器人。列出了作为研发平台的规格。

Sim2Real 开发支持

使用 NVIDIA Isaac Sim/Isaac Lab 提供从模拟到实际设备验证的开发支持。

机器人学习数据采集合同

我们承担从条件设计到交付的模仿学习和操作验证所需的数据收集。

机器人学习数据采集套件

我们将提出数据采集环境的配置,包括远程控制设备、摄像机和记录电脑。

机器人 SI/介绍支持

从AI机器人的选型到导入、运营,我们提供始终如一的支持。

成果/案例研究

我们正在发布模仿学习、VLA 实施和远程/身体共享远程呈现等举措。

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1:实机运行验证

我们在 Unitree G1 实机上运行了 NVIDIA GEAR Sonic,并验证了其运行情况。以下视频展示了验证过程。

NVIDIA GEAR Sonic × Unitree G1 — 实机运行验证
GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1:将视觉转化为行动的自主抓取演示

我们使用Gemini 4 Argon进行了实际机器测试,其中Unitree G1抓取并举起塑料瓶。不使用硬编码运动; AI直接将相机的视觉信息转化为动作。

即使你改变了物体的位置并再次放置它,人工智能也会从视觉上了解情况并产生抓取动作。我们还接受使用Unitree G1实施物理AI/VLA以及针对目标业务量身定制的PoC/演示实验的合同开发。

Gemini 4 Argon × Unitree G1 — 没有硬编码的动作,人工智能将视觉转化为行动来抓住塑料瓶(照片在我们自己的实验室拍摄)
FAQ

常见问题

物理人工智能和机器人技术有什么区别?

机器人技术泛指机器人技术,包括机械装置、控制装置和传感器。物理人工智能这个术语强调人工智能在识别现实世界和决定行动方面的作用。两者并不矛盾;物理人工智能建立在机器人技术的基础上。

物理人工智能现在可以应用于实践吗?

这取决于目的。虽然在完全取代人类工作之前还有很多问题需要解决,但在“与人交互”本身就有价值的应用中,例如客户服务、引导、吸引客户,以及涉及远程控制的操作中,目前已经可以投入实际使用。

你能让机器人学习你的工作吗?

这取决于目标工作。首先,组织你的工作,看看是否可以获得演示数据并定义评估指标。从专注于一项任务的 PoC 开始是安全的。如果您让我们了解目标工作和当前情况,我们将建议如何进行。

我需要多少训练数据?

这取决于任务的难度、环境的变化程度以及期望的成功率。我们首先进行测试采集,确定所需的数量和质量标准,然后进行实际采集。

我应该从哪架飞机开始?

对于研发来说,使用兼容二次开发的模型和SDK会更容易。我们将推荐实际用于验证的飞机,例如Unitree G1和OpenShell。您也可以租用并试用后再决定。

CONTACT

物理AI开发咨询

请告诉我们目标机器人、您想要完成的工作以及您当前的开发环境。即使需求和技术选型尚未确定,您也可以向我们咨询。也可以从一项任务的 PoC 开始。

咨询物理AI开发

CONTACT

联系我们

如对我们的服务有任何疑问,请随时与我们联系。

您有什么样的咨询?必填