IA multimodale (VLM) × PoC de préhension/cueillette autonome humanoïdeAu lieu de s'appuyer sur des trajectoires codées en dur, l'IA comprend et saisit la situation à partir des informations visuelles de la caméra.
Il s'agit d'un véritable service PoC qui combine la dernière IA multimodale (VLM/VLA) telle que Gemini 4 Argon avec Unitree G1 (configuration de la main à 5 doigts) et un robot à double bras pour reconnaître la position, la posture et l'environnement des objets à partir des images de la caméra et les saisir et les placer de manière autonome (pick and place). Même si l'objet est repositionné et repositionné à chaque fois, l'IA génère le mouvement de préhension sur la base d'un jugement visuel, permettant d'effectuer rapidement une « vérification de la faisabilité de l'automatisation en une étape » avant de collecter des données pour des centaines, voire des milliers de sessions d'apprentissage par imitation.
Consultez l'IA multimodale (VLM) x PoC de préhension/cueillette autonome humanoïde
Contenu et livrables de la consultation
- Validationrobot
- Choisissez parmi Unitree G1 (configuration main/pince à 5 doigts), AgiBot G2, OpenArm double bras, RealMan, etc.
- Plateforme IA/reconnaissance
- Reconnaissance visuelle/raisonnement spatial utilisant le dernier VLM tel que Gemini 4 Argon + cinématique inverse (IK)/contrôle des compétences ou politique VLA
- Exemple de tâche cible
- Reconnaît les bouteilles de boisson, les pièces en résine, les boîtes, les outils, etc., les saisit, les maintient debout, les transporte et les place dans les plateaux désignés.
- Étape de démonstration
- ① Test de préhension au laboratoire Yushima à partir d'échantillons d'objets ② Évaluation de la résistance aux changements de position et aux changements d'éclairage ③ Conception de l'environnement local et étape suivante (collecte de données, apprentissage dédié)
- Livrables
- Vidéo de vérification réelle de la machine, rapport d'analyse du taux de réussite, du temps de cycle, des facteurs de défaillance, définition des exigences techniques pour une mise en œuvre à grande échelle
- prix
- Estimations individuelles selon le type d'objet, l'utilisation robot, la période de vérification et la localisation
Comment procéder
Nous poserons des questions sur la situation actuelle, l'objectif robot, les conditions du site et le calendrier souhaité, puis nous commencerons les travaux après avoir convenu de la portée de la mise en œuvre et des conditions préalables. Les livrables et les prix seront précisés dans le devis individuel.
Réduisez considérablement le démarrage du PoC grâce à l'architecture « Visual → Behaviour Conversion » éprouvée dans notre propre laboratoire
01 Compatible avec les "variations de placement" qui ne peuvent pas être gérées avec des programmes à coordonnées fixes
Avec le contrôle d'apprentissage conventionnel, si l'objet se déplace de quelques centimètres seulement, il ratera le mouvement, mais avec la coopération VLM, la position 3D de l'objet et l'approche de préhension sont déduites à chaque fois de l'image de la caméra. Vous pouvez vérifier que l'objet suivra et rattrapera même s'il est replacé.
02 Le moyen le plus rapide de déterminer s'il peut être saisi en tant que matériel avant de collecter de grandes quantités de données
Avant d'investir dans la collecte de milliers d'épisodes de données d'apprentissage par imitation dès le début, vous pouvez utiliser le contrôle des compétences VLM + pour déterminer si la portée actuelle du robot, la force de préhension et l'angle de vue de la caméra peuvent gérer la pièce à moindre coût et dans un court laps de temps.
03 Transition transparente de l'inférence VLM vers un VLA dédié (π0,5/GR00T/ACT etc.)
Après avoir confirmé la faisabilité du processus grâce à une vérification zéro/petit tir à l'aide de VLM, les données d'opération à distance sont collectées en utilisant le même environnement machine réel, et le processus est progressivement mis à niveau vers un modèle VLA dédié et une politique d'apprentissage par imitation qui fonctionne à grande vitesse et hors ligne.
NVIDIA GEAR Sonic × Unitree G1 : vérification du fonctionnement sur la machine réelle
Nous avons exécuté NVIDIA GEAR Sonic sur le Unitree G1 actuel et confirmé son fonctionnement. Voici une vidéo du processus de vérification.
Gemini 4 Argon × Unitree G1 : Démonstration de saisie autonome qui convertit la vision en action
À l'aide du Gemini 4 Argon, nous avons effectué un véritable test de machine dans lequel le Unitree G1 saisit et soulève une bouteille en plastique. Aucun mouvement codé en dur n’est utilisé ; L'IA convertit directement les informations visuelles de la caméra en actions.
Même si vous changez la position de l'objet et le replacez, l'IA comprendra visuellement la situation et générera un mouvement de préhension. Nous acceptons également la mise en œuvre d'IA/VLA physiques à l'aide de Unitree G1 et le développement sous contrat d'expériences PoC/de démonstration adaptées à l'entreprise cible.
Questions fréquemment posées
Que puis-je demander avec l'IA multimodale (VLM) x PoC de préhension/cueillette autonome humanoïde ?
Il s'agit d'un véritable service PoC qui combine la dernière IA multimodale (VLM/VLA) telle que Gemini 4 Argon avec Unitree G1 (configuration de la main à 5 doigts) et un robot à double bras pour reconnaître la position, la posture et l'environnement des objets à partir des images de la caméra et les saisir et les placer de manière autonome (pick and place). Même si l'objet est repositionné et repositionné à chaque fois, l'IA génère le mouvement de préhension sur la base d'un jugement visuel, permettant d'effectuer rapidement une « vérification de la faisabilité de l'automatisation en une étape » avant de collecter des données pour des centaines, voire des milliers de sessions d'apprentissage par imitation. La portée spécifique des travaux sera confirmée et convenue avant de commencer les travaux, y compris robot, le site et les livrables souhaités.
Comment sont déterminés les coûts et la portée de la livraison du PoC de préhension/cueillette autonome multimodal IA (VLM) x humanoïde ?
Nous confirmerons le robot cible, le nombre d'unités, le lieu de mise en œuvre et les livrables requis, et fournirons une estimation individuelle de la disponibilité, de l'étendue des travaux, des conditions d'achèvement et du coût.
Pourriez-vous envoyer vos propres pièces et échantillons de produits au laboratoire et voir s'ils peuvent être saisis par le Unitree G1, etc. ?
Oui. Après avoir confirmé à l'avance les dimensions, le poids et le matériau de l'objet (présence de dommages ou de fuite de liquide), veuillez envoyer l'échantillon au laboratoire EmplifAI à Yushima, Tokyo, et nous effectuerons un test de préhension à l'aide de notre machine Unitree G1 ou à double bras, et rapporterons la vidéo et les données d'évaluation.
IA multimodale (VLM) × Consultation PoC de préhension/cueillette autonome humanoïde
Veuillez nous indiquer la cible robot, l'emplacement, le problème que vous souhaitez résoudre et le calendrier souhaité. Nous vous informerons des détails de mise en œuvre et du devis.
Consultez l'IA multimodale (VLM) x PoC de préhension/cueillette autonome humanoïde