PICO VR / support à la construction d'un environnement de téléopération du corps entierEn connectant un casque VR et un contrôle d'apprentissage par renforcement du corps entier, nous réalisons une télécommande intuitive du corps entier et une collecte de données d'un humanoïde.
Nous soutenons la construction d'un environnement de téléopération corps entier en temps réel pour les humanoïdes bipèdes tels que Unitree G1 en combinant un casque VR/tracker de mouvement (PICO, etc.) et une politique de contrôle de l'équilibre du corps entier (NVIDIA GEAR-SONIC, etc.). En plus de faire fonctionner les bras et les poignets du haut du corps, il peut contrôler à distance les mouvements du corps entier tels que s'accroupir, se tordre et déplacer le haut du corps tout en maintenant l'équilibre, et peut être utilisé comme base d'intervention à distance dans la collecte de données et d'événements de démonstration et d'expériences de démonstration.
Consultez le support à la construction d'un environnement de téléopération PICO VR/corps entier
Contenu et livrables de la consultation
- Cible robot
- Unitree G1 EDU (configuration 29DoF, etc.) et autres humanoïdes compatibles avec le développement secondaire
- dispositif d'opération
- Configuration à utiliser avec un casque/tracker PICO VR ou un bras leader/gant de données
- base de contrôle
- Collaboration sur la politique d'apprentissage par renforcement du corps entier avec NVIDIA GEAR-SONIC, communication DDS/ROS 2, paramètres de cartographie de coordonnées/articulations
- conception de sécurité
- Procédures opérationnelles, y compris l'arrêt en douceur, la transition d'attitude initiale, l'équipement de levage et la barrière de sécurité en cas de retard de communication ou de perte de suivi
- Livrables
- Ensemble d'environnement d'exécution de téléopération, manuel de procédure de démarrage/étalonnage, cours sur le fonctionnement réel de la machine
- prix
- Estimations individuelles selon que vous disposez ou non d'équipement, de configuration manuelle et d'étendue supplémentaire de la fonction d'enregistrement des données.
Comment procéder
Nous poserons des questions sur la situation actuelle, l'objectif robot, les conditions du site et le calendrier souhaité, puis nous commencerons les travaux après avoir convenu de la portée de la mise en œuvre et des conditions préalables. Les livrables et les prix seront précisés dans le devis individuel.
Trois supports techniques pour passer de la téléopération du haut du corps à la « téléopération coopérative du corps entier »
Conversion en temps réel du suivi VR en coordonnées du corps entier du robot
Les mouvements de la tête, des mains et des hanches de l'opérateur sont capturés à l'aide d'un appareil VR et redirigés vers l'espace articulaire de l'humanoïde dans un délai minimal. Nous développerons une procédure d'étalonnage pour absorber les différences de hauteur et de portée.
Maintenir un équilibre dynamique grâce à une politique d’apprentissage par renforcement du corps entier (GEAR-SONIC, etc.)
Un système de contrôle intégré du corps entier permet au bas du corps de compenser automatiquement le centre de gravité même lorsque les bras sont étendus vers l'avant ou que les genoux sont pliés pour atteindre des objets bas. Nous construisons des bibliothèques dépendantes et des paramètres de communication basés sur les connaissances réelles de vérification des machines du G1 EDU dans notre propre laboratoire.
Enregistrement simultané de données de performances multimodales pour l'apprentissage par imitation et l'apprentissage VLA
Enregistrez les images de la caméra de visualisation du robot, les angles et couples des articulations du corps entier, ainsi que les commandes de fonctionnement VR pendant la téléopération sur l'ensemble du corps, de manière synchronisée dans le temps. Connectez-vous à un pipeline de conversion au format LeRobot, etc., et accumulez des données qui peuvent être utilisées telles quelles pour un apprentissage autonome ultérieur.
NVIDIA GEAR Sonic × Unitree G1 : vérification du fonctionnement sur la machine réelle
Nous avons exécuté NVIDIA GEAR Sonic sur le Unitree G1 actuel et confirmé son fonctionnement. Voici une vidéo du processus de vérification.
Gemini 4 Argon × Unitree G1 : Démonstration de saisie autonome qui convertit la vision en action
À l'aide du Gemini 4 Argon, nous avons effectué un véritable test de machine dans lequel le Unitree G1 saisit et soulève une bouteille en plastique. Aucun mouvement codé en dur n’est utilisé ; L'IA convertit directement les informations visuelles de la caméra en actions.
Même si vous changez la position de l'objet et le replacez, l'IA comprendra visuellement la situation et générera un mouvement de préhension. Nous acceptons également la mise en œuvre d'IA/VLA physiques à l'aide de Unitree G1 et le développement sous contrat d'expériences PoC/de démonstration adaptées à l'entreprise cible.
Questions fréquemment posées
Que puis-je demander pour une assistance à la construction d'un environnement de téléopération PICO VR/corps entier ?
Nous soutenons la construction d'un environnement de téléopération corps entier en temps réel pour les humanoïdes bipèdes tels que Unitree G1 en combinant un casque VR/tracker de mouvement (PICO, etc.) et une politique de contrôle de l'équilibre du corps entier (NVIDIA GEAR-SONIC, etc.). En plus de faire fonctionner les bras et les poignets du haut du corps, il peut contrôler à distance les mouvements du corps entier tels que s'accroupir, se tordre et déplacer le haut du corps tout en maintenant l'équilibre, et peut être utilisé comme base d'intervention à distance dans la collecte de données et d'événements de démonstration et d'expériences de démonstration. La portée spécifique des travaux sera confirmée et convenue avant de commencer les travaux, y compris robot, le site et les livrables souhaités.
Comment sont déterminés les coûts et l'étendue de la livraison pour le soutien à la construction d'un environnement de téléopération PICO VR/corps entier ?
Nous confirmerons le robot cible, le nombre d'unités, le lieu de mise en œuvre et les livrables requis, et fournirons une estimation individuelle de la disponibilité, de l'étendue des travaux, des conditions d'achèvement et du coût.
Est-il possible de tout accomplir, de la marche à des tâches complexes, avec une stabilité totale, en utilisant uniquement la téléopération sur tout le corps ?
Avec l’état actuel de la technologie, il existe des cas dans lesquels l’équilibre peut être perdu en raison de changements dans la friction au sol, de balancements brusques des bras ou d’une inclinaison excessive vers l’avant. C'est pourquoi nous commençons par une vérification étape par étape en toute sécurité à l'aide d'un support fixe et d'un portique (dispositif de suspension), clarifions la vitesse et l'amplitude de mouvement autorisées pour se tenir debout et marcher sur le sol, puis construisons un environnement opérationnel.
Consultation sur le soutien à la construction d'un environnement de téléopération PICO VR/corps entier
Veuillez nous indiquer la cible robot, l'emplacement, le problème que vous souhaitez résoudre et le calendrier souhaité. Nous vous informerons des détails de mise en œuvre et du devis.
Consultez le support à la construction d'un environnement de téléopération PICO VR/corps entier