Introduction et support au développement de OpenArmRelie l’assemblage, l’exploitation, la collecte de données et l’apprentissage.
L'humanoïde mobile à deux bras de EmplifAI, OpenShell, utilise OpenArm 01 pour ses bras. Nous l'avons assemblé, fait une démonstration par télécommande et utilisé les enregistrements à des fins d'apprentissage en interne. Suivez le même chemin avec votre OpenArm. Nous vous accompagnerons dans les étapes nécessaires, depuis l'examen de la configuration de OpenArm, son assemblage et son intégration avec ROS 2, jusqu'à la mise en œuvre de l'apprentissage par imitation/VLA et la création d'un environnement de collecte de données.
Consulter l'introduction/développement de OpenArm
Vous pouvez récupérer les armes. C'est là que ça s'arrête
OpenArm étant open source, de nombreux laboratoires et équipes de développement pourront reprendre la conception et la mettre en place eux-mêmes. La prochaine chose à faire est de rester coincé. J'ai un bras qui bouge, mais je n'arrive pas à décider quoi enregistrer, combien de fois et comment apprendre. Bien que les données aient été collectées, elles ne peuvent pas être reproduites lorsqu'elles sont placées sur l'appareil lui-même.
Nous avons adopté OpenArm 01 pour notre propre robot OpenShell et avons travaillé sur tout, de l'assemblage à la collecte de données, en passant par l'apprentissage et l'évaluation réelle de la machine. Nous accompagnons la conception de données d'apprentissage et la construction d'un environnement de collecte en fonction du travail visé.
Gamme pouvant être acceptée
L'accent est mis sur l'apprentissage et l'environnement de collecte de données à cette fin. Nous entreprendrons également des travaux du côté robot dans la mesure nécessaire à l'apprentissage.
Mise en œuvre de l’apprentissage par imitation
Apprenez le fonctionnement de OpenArm à partir d’une démonstration humaine. De l'identification du travail cible à la mise en œuvre de l'apprentissage et à son évaluation sur la machine réelle. Compatible avec les configurations utilisant LeRobot.
Implémentation de la VLA
Il s'agit d'une implémentation de VLA qui relie la compréhension visuelle et linguistique à la génération de mouvements. Je suis en charge des domaines où il n'est pas possible d'écrire les mouvements, comme les travaux où la forme ou la position de l'objet change à chaque fois.
Construire un environnement de collecte de données
De la conception de ce qu'il faut enregistrer, dans quelles conditions et combien de fois, à la création de l'environnement de collecte. Cela vous permettra d'enregistrer de la vidéo et du mouvement en même temps.
Environnement de démonstration avec télécommande
Il s'agit d'un environnement opérationnel pour collecter des données de démonstration. J'ai de l'expérience dans la mise en œuvre de retour de force dans bras maîtres bilatéraux, un mode de précision qui réduit le grossissement de l'opération et un fonctionnement avec un contrôleur VR.
Assemblage/modification/intégration
Il s'agit d'un travail du côté robot dans la mesure nécessaire à l'apprentissage. Ajout de mains et de capteurs, de câblage et d'équipements électriques, et intégration avec ROS 2. Même si les pièces fonctionnent individuellement, la machine réelle ne fonctionne pas lorsqu'elle est intégrée.
Évaluation réelle de la machine
Nous placerons le modèle appris sur une machine réelle et mesurerons son taux de réussite et sa reproductibilité. Cela inclut l'isolement des cas où les résultats de la simulation ne fonctionnent pas sur la machine réelle.
Comment procéder
Commencez par vous concentrer sur une tâche. Après cela, vous pouvez élargir votre champ d’action.
- 01 Sélection des travaux cibles
- Décidez de ce que vous voulez apprendre. Si vous continuez à développer cela, la quantité de données requise augmentera indéfiniment.
- 02 Conception des conditions de données
- Décidez des éléments à enregistrer, du nombre d’essais et des conditions de variation. Que vous appreniez bien ou non est largement déterminé ici.
- 03 Construire un environnement de collecte
- Mettre en place un environnement pour la démonstration et l’enregistrement. Que vous l'ajoutiez à un environnement existant ou en créiez un nouveau dépend de la situation.
- 04 Collecte de données
- Démontrer et enregistrer. Nous pouvons nous occuper de la collection elle-même ou nous pouvons nous charger de l'environnement et vous confier la gestion de la collection vous-même.
- 05 Apprentissage/mise en œuvre
- Mettez en œuvre l’apprentissage par imitation ou VLA et transformez l’apprentissage.
- 06 Évaluation réelle de la machine
- Nous mesurerons le taux de réussite et la reproductibilité en le mettant sur une machine réelle et affinerons les conditions.
Nous vous prêtons la machine réelle sous forme de kit avec développement.
Si vous demandez un développement, nous vous prêterons également la machine réelle pendant la période de vérification. Même si vous n'avez pas de robot sous la main, vous pouvez commencer par vérifier l'appareil lui-même.
Nous n'acceptons pas la location de la machine seule. En effet, prêter uniquement votre bras ne sera d'aucune utilité car il n'y aura aucun support jusqu'à ce que vous puissiez le bouger.
Questions fréquemment posées
Je n'ai pas encore OpenArm, puis-je vous consulter ?
Oui. Si vous demandez un développement, nous pouvons également vous fournir une machine réelle pendant la période de vérification. Veuillez nous consulter concernant la sélection de la configuration. Veuillez noter que nous n'acceptons pas la location de la machine seule.
De combien de données ai-je besoin ?
Cela varie considérablement en fonction du travail visé et de la gamme de conditions à varier. La quantité nécessaire diffère d'un ordre de grandeur entre un travail qui consiste à manipuler le même objet au même endroit et un travail qui change de forme et de position à chaque fois. Nous vous recommandons de vous concentrer d'abord sur un sujet, de l'essayer en petites quantités, puis de prendre une décision.
J'ai déjà collecté des données, mais l'apprentissage ne se reproduit pas.
Nous acceptons également les consultations à partir de ce stade. Commençons par identifier s'il s'agit d'un manque de conditions d'enregistrement, de différences individuelles dans la machine réelle ou d'apprentissage. Veuillez nous contacter le plus tôt possible, car nous devrons peut-être décider de recommencer la collecte.
Puis-je utiliser robot autre que OpenArm ?
Nous pouvons vous accueillir. Si vous n'avez pas choisi robot ou si vous utilisez un autre robot, veuillez également consulter la page de développement de l'apprentissage VLA/imitation. Cette page axée sur OpenArm est destinée à ceux qui ont opté pour robot.
Qu’en est-il des droits sur les modèles formés et les données collectées ?
Cela sera décidé au moment de la signature du contrat. Veuillez nous consulter au stade de la planification, car le traitement varie en fonction du type de développement, comme un développement commandé ou une recherche conjointe.
Consultation d'introduction/développement OpenArm
Veuillez nous indiquer le travail que vous souhaitez apprendre et l'état de votre robot/environnement actuel. Peu importe si vous possédez les compétences mais n'êtes pas prêt à commencer à apprendre, ou si vous envisagez de préparer le robot. Une équipe ayant parcouru la même section avec son propre humanoïde sera aux commandes.
Consulter l'introduction/développement de OpenArm