実写動画からのヒューマノイド動作生成・強化学習ポリシー開発人の動きを撮影した実写動画から、物理シミュレーション評価済みのヒューマノイド動作パッケージへ。
スマートフォンやカメラで撮影した人間の動作動画をもとに、Unitree G1・Unitree R1などのヒューマノイド向け関節軌道データ（NPZ / CSV）へのリターゲティング変換、MuJoCo / Isaac Lab（mjlab）を用いた強化学習（PPO）による全身追従ポリシーの学習、および閉ループ物理シミュレーションでの安全性・完走評価（Sim2Sim）を経て実機実行用パッケージ（ONNXモデル・設定一式）を納品する開発サービスです。
実写動画からのヒューマノイド動作生成・強化学習ポリシー開発について相談する
ご相談内容と成果物
- 対応機体
- Unitree G1（23〜29DoF等）、Unitree R1（26DoF）ほか（対象構成・コントローラ版を事前固定）
- 入力条件
- 全身と足先が映った単独人物の動画（跳躍・床寝転び・激しい回転等を除く動作から段階的に対応）
- 提供メニュー
- ①参照軌道データ変換（NPZ/CSV） ②既存全身制御器での閉ループ物理評価 ③動作専用PPO強化学習＆ONNX納品 ④実機検証
- 物理評価項目
- 完走率、転倒有無、軌道追従誤差、足滑り、関節角度・速度制限、自己衝突、トルク飽和の定量検査
- 納品物
- 正規化モーションデータ（NPZ/CSV）、評価済みONNX/チェックポイント、観測・行動仕様・PDゲイン設定、評価レポート
- 価格
- 動画尺・本数、物理シミュレーション評価・個別強化学習・実機テストの範囲に応じてお見積もり
進め方
現状、対象機体、現場の条件、希望時期を伺い、実施範囲と前提条件を合意してから着手します。成果物と価格は個別のお見積もりに明記します。
「変換しただけのJSON」で転倒させない、4段階の動作生成・物理検証パイプライン
01 動画品質検査とロボット骨格への高精度リターゲティング
実写動画から3D人体姿勢とルート位置・接地状態を推定し、対象機体（G1 / R1）のリンク長・関節順序・可動域制約に合わせた全フレーム正規化軌道（NPZ / CSV）を生成します。
02 全身バランス制御（SONIC等）による閉ループ物理シミュレーション評価
運動学的なポーズ変換だけでは実機は重心移動に耐えられず転倒します。物理シミュレータ上で全身制御ポリシーに参照軌道を入力し、摩擦・遅延・初期姿勢の変動に対する安定性を検証します。
03 動作特化の強化学習（mjlab PPO）とONNXポリシー出力
汎用追従器だけでは再現が難しいジェスチャーや反復動作に対し、湯島ラボのGPU環境（RTX A6000 48GB等）でPPO強化学習を実行。評価基準に合格したチェックポイントのみをONNX形式でパッケージ化します。
04 保有実機（G1 / R1）でのハードウェア検証オプション
ご希望に応じてEmplifAIラボの実機上で開始姿勢・動作再生・停止復帰までをテストし、実機稼働映像と安全運用パラメータを添えて納品します。
NVIDIA GEAR Sonic × Unitree G1：実機での動作検証
Unitree G1の実機でNVIDIA GEAR Sonicを動かし、動作確認を行いました。検証時の様子を動画でご紹介します。
Gemini 4 Argon × Unitree G1：視覚から行動へ変換する自律把持デモ
Gemini 4 Argonを用い、Unitree G1がペットボトルを掴んで持ち上げる実機検証を実施しました。ハードコードされたモーションは一切使わず、AIがカメラの視覚情報をそのまま行動へと変換しています。
対象物の位置を変えて置き直しても、AIが視覚から状況を理解して把持動作を生成します。Unitree G1を用いたフィジカルAI・VLAの実装や、対象業務に合わせたPoC・実証実験の受託開発も承っています。
よくあるご質問
実写動画からのヒューマノイド動作生成・強化学習ポリシー開発では何を依頼できますか？
スマートフォンやカメラで撮影した人間の動作動画をもとに、Unitree G1・Unitree R1などのヒューマノイド向け関節軌道データ（NPZ / CSV）へのリターゲティング変換、MuJoCo / Isaac Lab（mjlab）を用いた強化学習（PPO）による全身追従ポリシーの学習、および閉ループ物理シミュレーションでの安全性・完走評価（Sim2Sim）を経て実機実行用パッケージ（ONNXモデル・設定一式）を納品する開発サービスです。具体的な対象範囲は、機体・現場・ご希望の成果物を確認して着手前に合意します。
実写動画からのヒューマノイド動作生成・強化学習ポリシー開発の費用と納品範囲はどのように決まりますか？
対象機体・台数・実施場所・必要な成果物を確認し、対応可否、作業範囲、完了条件、費用を個別見積もりで提示します。
市販の動画変換ツールや安価なモーションAPIとの違いは何ですか？
一般的な動画変換APIが出力するのは「関節角度の時系列データ」のみであり、そのまま実機に流すと重力や足裏の滑りで転倒します。EmplifAIでは対象機体のプロファイル（関節順・PDゲイン・制御周期）を固定したうえで、閉ループの物理シミュレーション評価（転倒・トルク飽和・自己衝突検査）やPPO強化学習まで通し、実機で動かせる制御パッケージとして納品できる点が最大の違いです。
どのような動画でもヒューマノイドの動作に変換できますか？
いいえ。ジャンプ、片足での激しいスピン、床に手をつく動作、複数人が重なる動画などは物理的な制約からそのまま再現できません。着手前にサンプル動画を確認し、接地維持や速度平滑化の条件を含めて成立可能な範囲を合意します。
実写動画からのヒューマノイド動作生成・強化学習ポリシー開発のご相談
対象機体、実施場所、解決したい課題、希望時期をお知らせください。実施内容と見積もりをご案内します。
実写動画からのヒューマノイド動作生成・強化学習ポリシー開発について相談する