Le code expérimental Unitree G1 × Gemini Argon a été publié avec Apache-2.0
EmplifAI Co., Ltd. a publié le code expérimental « G1/ARGON » qui connecte Unitree G1 et Gemini Argon sous licence Apache-2.0. Il s'agit d'une expérience publique dans laquelle la connexion entre l'agent LLM et le contrôle réel de la machine est partagée ainsi que les étapes de reproduction, les contraintes et les vidéos.
Vidéo réelle de la machine : Transporter des bouteilles en position verticale
En utilisant le bras gauche du Unitree G1 soutenu par un dispositif de suspension et l'Inspire Hand, nous avons mené une expérience dans laquelle nous avons soulevé et transporté une bouteille en plastique tout en la maintenant verticale. Vous pouvez voir une vidéo de la machine réelle dans le post X du représentant Hiroyuki Osone. Il ne s’agit pas d’une référence en matière de taux de réussite ou de reproductibilité dans différents environnements.
Console Web en anglais que vous pouvez essayer avec votre propre clé API
Ouvrez votre application Web locale avec une seule commande de démarrage Python, entrez votre clé API Gemini et essayez la reconnaissance d'images et les suggestions de plans. L'observation d'images est disponible sans robots et ne stocke pas les clés API dans les fichiers ou dans le stockage du navigateur. Une configuration matérielle distincte est requise pour le contrôle réel de la machine.
Ce que nous avons accompli et ce que nous vérifierons ensuite
La version publique de l'application web démarre en mode observation. Pour la vraie machine, nous avons un petit test du bras gauche qui a été explicitement configuré et vérifié, et les macros de saisie/placement traditionnelles ne sont pas lancées depuis la console publique. L'étalonnage de l'appareil photo/de la main, la détermination de la préhension et l'évaluation de la reproductibilité dans différentes conditions sont des problèmes récurrents.
Nous disposons d'une interface d'adaptateur pour ajouter des fournisseurs et incluons actuellement une implémentation pour Gemini. Nous acceptons les contributions pour soutenir d'autres agents, les évaluations utilisant des images enregistrées et les rapports de reproduction sur des appareils réels.
En open source pour un usage commercial
Le code original de EmplifAI est publié dans Apache-2.0 et est disponible pour un usage commercial. Des conditions respectives s'appliquent aux SDK externes, aux modèles robot et aux services API. Nous demandons que les contributions soient approuvées par le DCO. Ce projet est un effort indépendant de EmplifAI et ne représente aucune approbation ou approbation de la part de robot ou du fournisseur de modèles.
GitHub : afficher le code source, la procédure de démarrage et un exemple réel
X de Hiroyuki Osone : regardez la vidéo actuelle
Si vous envisagez une prise en charge de la mise en œuvre de machines réelles, le développement de tâches personnalisées ou une évaluation conjointe, veuillez nous contacter en nous indiquant le robot cible et la tâche.