Développement de l'apprentissage VLA/imitationFaites-leur apprendre des mouvements qui ne peuvent pas être écrits à partir des manifestations des autres.
Il est difficile d’écrire les mouvements dans un programme lorsque la forme ou la position de l’objet change à chaque fois. Nous travaillons à la mise en œuvre de l'apprentissage par imitation, qui apprend les mouvements à partir de démonstrations humaines, et du VLA, qui relie la compréhension visuelle et linguistique à la génération de mouvements.
Consulter sur l'apprentissage VLA/imitation
Simulation de transport usine/entrepôt
Unitree G1
Une simulation physique dans Isaac Sim a vérifié le comportement consistant à tenir une boîte de 0,25 kg à deux mains, à marcher environ 1,2 m et à la placer sur une autre plate-forme. Ce n'est pas une vidéo de la machine réelle.
RealMan RMC-AIDAL
Nous avons saisi la poignée d'une hypothétique valise de transport mesurant 30 x 20 x 20 cm et pesant au total 10 kg, et avons vérifié le processus de transport sur roues sur environ 1,2 m, en la plaçant sur un support, puis en la relâchant. Il s'agit d'une simulation physique qui corrige le centre de gravité et les paramètres de contact du modèle CAO public, et ne garantit pas la capacité de charge de la machine réelle.
RealMan RMC-AIDAL : transport de caisses de 10 kg avec les deux bras
Nous avons vérifié le fonctionnement consistant à tenir une hypothétique caisse de transport mesurant 30 x 40 x 20 cm et pesant au total 10 kg avec les deux mains à l'aide des poignées gauche et droite, en la transportant sur environ 1,2 m et en la plaçant sur un support. Pendant le transport, les contacts entre les mains gauche et droite et le partage de la charge sont enregistrés. Il s'agit d'une simulation physique qui corrige le centre de gravité et les paramètres de contact du modèle CAO public, et ne garantit pas la capacité de charge de la machine réelle.
Vous pouvez également nous consulter sur des simulations et des expériences de démonstration adaptées à votre entreprise, telles que le réapprovisionnement des étagères, l'approvisionnement en cartons de pièces et le tri.
Environnement/boîte matériaux 3D : NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Nous ajustons la conversion des matériaux, les dimensions et les matériaux d'affichage.
Certaines tâches ne peuvent pas être écrites avec un programme.
Si vous souhaitez saisir un objet fixe dans une position fixe, il est plus sûr et plus rapide d'écrire le mouvement. Le seul moment où il est logique d’évoquer l’apprentissage, c’est lorsque vous avez une tâche que vous ne pouvez pas écrire.
La forme de chaque objet est différente, la façon dont il est placé change à chaque fois et il se déforme comme un sac ou un tissu. Ce type de travail ne peut pas écrire de branches conditionnelles. Une approche plus réaliste consiste à montrer aux gens comment exécuter les mouvements et à leur faire apprendre les mouvements.
D’un autre côté, l’apprentissage n’est pas une solution universelle. La quantité de données requise varie en fonction de la difficulté de la tâche et du taux de réussite souhaité, et certaines parties ne peuvent pas être entièrement lues tant que vous ne les avez pas collectées. Notre approche consiste à déterminer la qualité grâce à une collecte de tests, puis à passer à la collecte proprement dite.
Exemple d'implémentation : Gemini 4 Argon × Unitree G1 (conversion de la vision en comportement)
En utilisant Gemini 4 Argon, nous avons vérifié avec succès que Unitree G1 saisit et soulève une bouteille en plastique sans utiliser de mouvements codés en dur. L'IA convertit les informations visuelles de la caméra directement en actions du robot et génère des mouvements de préhension en fonction de la situation, même si l'objet est repositionné et repositionné.
Nous concevrons et mettrons en œuvre la génération d'actions visuelles à l'aide de ce modèle de base, VLA, et un apprentissage par imitation basé sur des données de performances humaines, adaptées au robot cible et aux conditions de travail sur site.
Gamme pouvant être acceptée
Isolement du travail cible
Séparez les parties qui doivent être résolues en étudiant et les parties qui sont plus rapides à écrire. Vous n'avez pas besoin de tout apprendre.
Conception de la collecte de données de démonstration
Que faut-il enregistrer, sous quelle perspective et dans quelle mesure ? Travail cible de conception, robot et normes de qualité.
Démonstration par télécommande
Les mouvements physiques de l'opérateur sont transférés au robot et les données sont collectées pendant que le robot travaille sur la machine réelle. Vous pouvez procéder à l'exploitation et à la collecte en même temps.
Mise en œuvre de l’apprentissage par imitation
Il apprend le comportement à partir des données collectées et évalue le taux de réussite. Implémenté sur la base de ROS 2/LeRobot.
Implémentation de la VLA
Relier la compréhension visuelle et linguistique à la génération d’actions. Cette structure implique de décider de la prochaine action en fonction d'instructions verbales et de la situation devant vous.
Évaluation sur machine réelle
Nous mesurons le taux de réussite et le temps passé sur le site cible, plutôt que d'utiliser des références. Précisez la plage de validité en modifiant les conditions.
Les données sont la base de tout
Le succès ou l'échec de l'apprentissage est déterminé par les données précédant le modèle. Il y a un manque de recul, il n’y a pas d’exemples d’échecs et les conditions de travail sont instables. Même si vous l’entraînez à l’aide de ces données, il ne fonctionnera pas sur le terrain.
Dans notre entreprise, nous acquérons des données à partir d'équipements réels après avoir conçu le travail cible, robot, le montant de la collecte et les normes de qualité. Nous disposons également d'une configuration qui vous permet d'enregistrer de manière synchrone des informations visuelles, comportementales, de dialogue et non verbales tout en travaillant réellement à distance.
Il est possible de confier uniquement la collecte des données, ou de consulter uniquement sur la construction de l'environnement de collecte.
NVIDIA GEAR Sonic × Unitree G1 : vérification du fonctionnement sur la machine réelle
Nous avons exécuté NVIDIA GEAR Sonic sur le Unitree G1 actuel et confirmé son fonctionnement. Voici une vidéo du processus de vérification.
Gemini 4 Argon × Unitree G1 : Démonstration de saisie autonome qui convertit la vision en action
À l'aide du Gemini 4 Argon, nous avons effectué un véritable test de machine dans lequel le Unitree G1 saisit et soulève une bouteille en plastique. Aucun mouvement codé en dur n’est utilisé ; L'IA convertit directement les informations visuelles de la caméra en actions.
Même si vous changez la position de l'objet et le replacez, l'IA comprendra visuellement la situation et générera un mouvement de préhension. Nous acceptons également la mise en œuvre d'IA/VLA physiques à l'aide de Unitree G1 et le développement sous contrat d'expériences PoC/de démonstration adaptées à l'entreprise cible.
Questions fréquemment posées
De combien de données d’entraînement ai-je besoin ?
Il varie en fonction de la difficulté de la tâche, du degré de variation de l'environnement et du taux de réussite souhaité. Nous effectuons d’abord une collecte test, déterminons la quantité et les normes de qualité requises, puis procédons à la collecte principale. Nous ne promettons pas le montant total dès le début.
Je n'ai pas les données, puis-je commencer ?
Oui. Nous nous occupons de tout, depuis la conception des collections. Si vous disposez d'une configuration dans laquelle vous contrôlez à distance la machine réelle tout en l'enregistrant, vous pouvez procéder aux opérations et à la collecte de données en même temps.
Quel robot peut le mettre en œuvre ?
Si le robot peut être contrôlé avec ROS 2 ou robotSDK, nous pouvons vous consulter. Les modèles compatibles avec le développement secondaire sont plus faciles à manipuler. Veuillez nous indiquer la cible robot.
Quelle est la différence entre VLA et apprentissage par imitation ?
L'apprentissage par imitation est un terme général désignant les méthodes d'acquisition de mouvements à partir de la performance humaine. VLA fait référence à la configuration d'un modèle qui relie la compréhension visuelle et linguistique à la génération d'actions, et diffère en ce qu'il peut gérer des instructions verbales. Utilisez-les en fonction du travail visé.
Consultation d'apprentissage VLA/imitation
Veuillez nous indiquer le travail cible, robot, et l'état des données dont vous disposez actuellement. Nous travaillerons avec vous pour déterminer la portée de l’étude à résoudre.
Consulter sur l'apprentissage VLA/imitation