Génération de comportements humanoïdes et développement de politiques d’apprentissage par renforcement à partir de vidéos d’action réelleDes vidéos d'action en direct de mouvements humains aux packages de mouvements humanoïdes qui ont été évalués par simulation physique.
Conversion de reciblage en données de trajectoire commune (NPZ/CSV) pour des humanoïdes tels que Unitree G1 et Unitree R1 sur la base de vidéos de mouvements humains prises avec des smartphones et des caméras, MuJoCo / Isaac. Il s'agit d'un service de développement qui fournit un package pour l'exécution réelle de la machine (modèle ONNX et ensemble de paramètres) après avoir appris une politique de suivi du corps entier à l'aide de l'apprentissage par renforcement (PPO) à l'aide de Lab (mjlab) et évalué la sécurité et l'achèvement à l'aide d'une simulation physique en boucle fermée. (Sim2Sim).
Consultez des informations sur la génération de comportements humanoïdes et le développement de politiques d'apprentissage par renforcement à partir de vidéos d'action réelle.
Contenu et livrables de la consultation
- Compatible robot
- Unitree G1 (23-29DoF, etc.), Unitree R1 (26DoF), etc. (Configuration cible/version du contrôleur fixée à l'avance)
- Conditions de saisie
- Vidéo d'une seule personne montrant tout le corps et les orteils (comprend des actions étape par étape excluant le saut, l'allongement sur le sol, la rotation vigoureuse, etc.)
- Menu de l'offre
- ① Conversion des données de trajectoire de référence (NPZ/CSV) ② Évaluation physique en boucle fermée avec le contrôleur du corps entier existant ③ Apprentissage par renforcement PPO spécifique au mouvement et livraison ONNX ④ Vérification réelle de la machine
- Éléments d'évaluation physique
- Contrôle quantitatif du taux de réussite, présence de chutes, erreur de suivi de trajectoire, glissement du pied, angle d'articulation/limite de vitesse, autocollision, saturation de couple
- Livrables
- Données de mouvement normalisées (NPZ/CSV), ONNX/points de contrôle évalués, spécifications d'observation/comportement/paramètres de gain PD, rapport d'évaluation
- prix
- Estimations basées sur la durée et le nombre de vidéos, la portée de l'évaluation de la simulation physique, l'apprentissage par renforcement individuel et les tests réels des machines
Comment procéder
Nous poserons des questions sur la situation actuelle, l'objectif robot, les conditions du site et le calendrier souhaité, puis nous commencerons les travaux après avoir convenu de la portée de la mise en œuvre et des conditions préalables. Les livrables et les prix seront précisés dans le devis individuel.
Un pipeline de génération de mouvement/vérification physique en 4 étapes qui évite les échecs dus au « JSON venant d'être converti »
01 Contrôle de qualité vidéo et reciblage de haute précision sur les squelettes de robots
Évalue la posture du corps humain en 3D, la position de l'itinéraire et l'état de contact avec le sol à partir de vidéos d'action en direct, et génère une trajectoire normalisée plein format (NPZ/CSV) qui correspond à la longueur du lien, à l'ordre des articulations et aux contraintes d'amplitude de mouvement de la cible robot (G1/R1).
02 Évaluation par simulation physique en boucle fermée utilisant le contrôle de l'équilibre du corps entier (SONIC, etc.)
Si seule la conversion de pose cinématique est utilisée, l'avion lui-même ne sera pas capable de résister au déplacement du centre de gravité et tombera. Saisissez la trajectoire de référence dans la politique de contrôle du corps entier sur le simulateur physique et vérifiez la stabilité par rapport aux fluctuations de friction, de retard et de posture initiale.
03 Apprentissage par renforcement spécifique au comportement (mjlab PPO) et sortie de politique ONNX
L'apprentissage par renforcement PPO est effectué dans l'environnement GPU de Yushima Lab (RTX A6000 48 Go, etc.) pour les gestes et les mouvements répétitifs difficiles à reproduire avec les seuls dispositifs de suivi à usage général. Seuls les points de contrôle qui répondent aux critères d'évaluation sont conditionnés au format ONNX.
04 Option de vérification du matériel sur les machines réelles possédées (G1/R1)
Sur demande, nous testerons la posture de départ, la relecture du mouvement et le retour à l'arrêt sur une machine réelle dans le laboratoire EmplifAI, et livrerons le produit avec des images du fonctionnement réel de la machine et des paramètres de fonctionnement sûrs.
NVIDIA GEAR Sonic × Unitree G1 : vérification du fonctionnement sur la machine réelle
Nous avons exécuté NVIDIA GEAR Sonic sur le Unitree G1 actuel et confirmé son fonctionnement. Voici une vidéo du processus de vérification.
Gemini 4 Argon × Unitree G1 : Démonstration de saisie autonome qui convertit la vision en action
À l'aide du Gemini 4 Argon, nous avons effectué un véritable test de machine dans lequel le Unitree G1 saisit et soulève une bouteille en plastique. Aucun mouvement codé en dur n’est utilisé ; L'IA convertit directement les informations visuelles de la caméra en actions.
Même si vous changez la position de l'objet et le replacez, l'IA comprendra visuellement la situation et générera un mouvement de préhension. Nous acceptons également la mise en œuvre d'IA/VLA physiques à l'aide de Unitree G1 et le développement sous contrat d'expériences PoC/de démonstration adaptées à l'entreprise cible.
Questions fréquemment posées
Que puis-je demander pour l’élaboration d’une politique de génération de comportements humanoïdes/d’apprentissage par renforcement à partir de vidéos d’action réelle ?
Conversion de reciblage en données de trajectoire commune (NPZ/CSV) pour des humanoïdes tels que Unitree G1 et Unitree R1 sur la base de vidéos de mouvements humains prises avec des smartphones et des caméras, MuJoCo / Isaac. Il s'agit d'un service de développement qui fournit un package pour l'exécution réelle de la machine (modèle ONNX et ensemble de paramètres) après avoir appris une politique de suivi du corps entier à l'aide de l'apprentissage par renforcement (PPO) à l'aide de Lab (mjlab) et évalué la sécurité et l'achèvement à l'aide d'une simulation physique en boucle fermée. (Sim2Sim). La portée spécifique des travaux sera confirmée et convenue avant de commencer les travaux, y compris robot, le site et les livrables souhaités.
Comment sont déterminés les coûts et la portée de la prestation de la génération de comportements humanoïdes et du développement de politiques d’apprentissage par renforcement à partir de vidéos d’action réelle ?
Nous confirmerons le robot cible, le nombre d'unités, le lieu de mise en œuvre et les livrables requis, et fournirons une estimation individuelle de la disponibilité, de l'étendue des travaux, des conditions d'achèvement et du coût.
Quelle est la différence entre les outils de conversion vidéo disponibles dans le commerce et les API de mouvement bon marché ?
Les API de conversion vidéo générales ne génèrent que des « données de séries chronologiques d'angles articulaires », et si vous les envoyez à un appareil réel tel quel, elles tomberont en raison de la gravité et du glissement de la plante de vos pieds. La plus grande différence avec EmplifAI est qu'il fixe le profil cible du robot (ordre commun, gain PD, cycle de contrôle), passe par une évaluation de simulation physique en boucle fermée (renversement, saturation de couple, inspection d'auto-collision) et un apprentissage par renforcement PPO, et le fournit sous la forme d'un package de contrôle qui peut être exécuté sur une machine réelle.
N'importe quelle vidéo peut-elle être convertie en mouvement humanoïde ?
Non. Les sauts, les pirouettes intenses sur une jambe, les touchers du sol, les vidéos avec plusieurs personnes se chevauchant, etc. ne peuvent pas être reproduits directement en raison de contraintes physiques. Avant de commencer, nous vérifions l'exemple de vidéo et convenons d'une plage possible, y compris les conditions de maintien du contact avec le sol et de lissage de la vitesse.
Consultation sur la génération de comportements humanoïdes et l'élaboration de politiques d'apprentissage par renforcement à partir de vidéos d'action réelle
Veuillez nous indiquer la cible robot, l'emplacement, le problème que vous souhaitez résoudre et le calendrier souhaité. Nous vous informerons des détails de mise en œuvre et du devis.
Consultez des informations sur la génération de comportements humanoïdes et le développement de politiques d'apprentissage par renforcement à partir de vidéos d'action réelle.