EmplifAI咨询引进方案
视频转动作/强化学习

从真人视频生成人形行为和强化学习策略开发从人类动作的真人视频到经过物理模拟评估的人形动作包。

基于智能手机和相机拍摄的人体运动视频,将 Unitree G1 和 Unitree R1 等人形机器人的关节轨迹数据 (NPZ/CSV) 重新定位转换,MuJoCo / Isaac 这是一项开发服务,在使用 Lab (mjlab) 使用强化学习 (PPO) 学习全身跟踪策略并使用闭环物理模拟评估安全性和完成度后,提供实际机器执行包(ONNX 模型和设置集) (模拟2模拟)。

视频转动作/强化学习个别报价提前商定范围
通过真人视频咨询人形行为生成和强化学习策略开发
Unitree 验证全身强化学习动作在G1实机上的运行
Unitree 验证全身强化学习动作在G1实机上的运行
SCOPE

咨询内容及成果

兼容机器人
Unitree G1(23-29DoF等)、Unitree R1(26DoF)等(目标配置/控制器版本提前固定)
输入条件
单人全身及脚趾视频(包括除跳跃、趴地、剧烈旋转等以外的分步动作)
优惠菜单
① 参考轨迹数据转换(NPZ/CSV) ② 利用现有全身控制器进行闭环物理评估 ③ 运动特定 PPO 强化学习和 ONNX 交付 ④ 实机验证
体能评价项目
定量检查完成率、是否存在跌倒、轨迹跟随误差、脚滑移、关节角度/速度限制、自碰撞、扭矩饱和
可交付成果
标准化运动数据 (NPZ/CSV)、评估的 ONNX/检查点、观察/行为规范/PD 增益设置、评估报告
价格
根据视频长度和数量、物理模拟评估范围、个体强化学习和实机测试进行估算
PROCESS

推进方式

我们会向您询问目前的情况、目标飞机、现场条件和期望的时间,然后在同意实施范围和前提条件后开始工作。可交付成果和价格将在单独的报价中指定。

MOTION PIPELINE

4步运动生成/物理验证管道,可防止由于“刚刚转换的 JSON”而导致的失败

01

01 视频质量检测和高精度机器人骨骼重定向

从实景视频中估计 3D 人体姿势、路线位置和地面接触状态,并生成与目标 机器人 (G1/R1) 的链接长度、关节顺序和运动约束范围相匹配的全帧归一化轨迹 (NPZ/CSV)。

02

02 使用全身平衡控制的闭环物理模拟评估(SONIC等)

如果仅采用运动学位姿转换,实际飞行器将无法承受重心的转移而发生坠落。将参考轨迹输入到物理模拟器上的全身控制策略中,并验证针对摩擦、延迟和初始姿势波动的稳定性。

03

03 特定行为强化学习(mjlab PPO)和ONNX策略输出

PPO强化学习是在Yushima Lab的GPU环境(RTX A6000 48GB等)中进行的,针对仅用通用跟踪设备难以再现的手势和重复动作。只有通过评估标准的检查点才会以 ONNX 格式打包。

04

04 拥有的实际机器上的硬件验证选项(G1/R1)

根据要求,我们将在EmplifAI实验室的实机上测试启动姿势、运动回放和返回停止,并交付产品以及实机操作和安全操作参数的镜头。

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1:实机运行验证

我们在 Unitree G1 实机上运行了 NVIDIA GEAR Sonic,并验证了其运行情况。以下视频展示了验证过程。

NVIDIA GEAR Sonic × Unitree G1 — 实机运行验证
GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1:将视觉转化为行动的自主抓取演示

我们使用Gemini 4 Argon进行了实际机器测试,其中Unitree G1抓取并举起塑料瓶。不使用硬编码运动; AI直接将相机的视觉信息转化为动作。

即使你改变了物体的位置并再次放置它,人工智能也会从视觉上了解情况并产生抓取动作。我们还接受使用Unitree G1实施物理AI/VLA以及针对目标业务量身定制的PoC/演示实验的合同开发。

Gemini 4 Argon × Unitree G1 — 没有硬编码的动作,人工智能将视觉转化为行动来抓住塑料瓶(照片在我们自己的实验室拍摄)
FAQ

常见问题

对于从真人视频中生成人形行为/强化学习政策开发,我可以要求什么?

基于智能手机和相机拍摄的人体运动视频,将 Unitree G1 和 Unitree R1 等人形机器人的关节轨迹数据 (NPZ/CSV) 重新定位转换,MuJoCo / Isaac 这是一项开发服务,在使用 Lab (mjlab) 使用强化学习 (PPO) 学习全身跟踪策略并使用闭环物理模拟评估安全性和完成度后,提供实际机器执行包(ONNX 模型和设置集) (模拟2模拟)。具体工作范围将在开始工作前确认并商定,包括机器人、场地和期望的交付成果。

如何确定真人视频中的类人行为生成和强化学习政策开发的成本和交付范围?

我们将确认目标飞机、机器数量、实施地点和所需的交付成果,并提供可用性、工作范围、完成条件和成本的单独估计。

商用视频转换工具和廉价的运动 API 之间有什么区别?

一般的视频转换API仅输出“关节角度的时间序列数据”,如果将其直接发送到实际设备,则会因重力和脚底滑动而掉落。与EmplifAI最大的区别在于,它固定了目标机器人的轮廓(关节阶数、PD增益、控制周期),经过闭环物理仿真评估(翻转、扭矩饱和、自碰撞检查)和PPO强化学习,并作为可在实机上运行的控制包交付。

任何视频都可以转换为人形动作吗?

不能。由于物理限制,跳跃、单腿剧烈旋转、接触地板、多人重叠的视频等无法直接再现。在开始之前,我们检查示例视频并就可能的范围达成一致,包括保持地面接触和速度平滑的条件。

CONTACT

关于真人视频中的人形行为生成和强化学习政策制定的咨询

请告知我们目标飞机、位置、您想要解决的问题以及期望的时间。我们将通知您实施细节和估算。

通过真人视频咨询人形行为生成和强化学习策略开发

CONTACT

联系我们

如对我们的服务有任何疑问,请随时与我们联系。

您有什么样的咨询?必填