El código experimental Unitree G1 × Gemini Argon se ha lanzado con Apache-2.0
EmplifAI Co., Ltd. ha lanzado el código experimental "G1/ARGON" que conecta Unitree G1 y Gemini Argon bajo la licencia Apache-2.0. Este es un experimento público en el que se comparte la conexión entre el agente LLM y el control real de la máquina junto con pasos de reproducción, restricciones y videos.
Vídeo real de la máquina: Transporte de botellas en posición vertical
Utilizando el brazo izquierdo del Unitree G1 sostenido por un dispositivo colgante y la Inspire Hand, realizamos un experimento en el que levantamos y transportamos una botella de plástico manteniéndola en posición vertical. Puedes ver un vídeo de la máquina real en la publicación X del representante Hiroyuki Osone. No es un punto de referencia para la tasa de éxito o la reproducibilidad en diferentes entornos.
Consola web en inglés que puedes probar con tu propia clave API
Abra su aplicación web local con un solo comando de inicio de Python, ingrese su clave API de Gemini y pruebe el reconocimiento de imágenes y las sugerencias de planes. La observación de imágenes está disponible sin robots y no almacena claves API en archivos ni en el almacenamiento del navegador. Se requiere una configuración de hardware separada para el control real de la máquina.
Qué logramos y qué verificaremos a continuación
La versión pública de la aplicación web se inicia en modo de observación. Para la máquina real, tenemos una pequeña prueba del brazo izquierdo que se ha configurado y verificado explícitamente, y las macros tradicionales de agarre/ubicación no se inician desde la consola pública. La calibración de la cámara/mano, la determinación del agarre y la evaluación de la reproducibilidad en diferentes condiciones son problemas actuales.
Contamos con una interfaz de adaptador para agregar proveedores y actualmente incluimos una implementación para Gemini. Agradecemos contribuciones para apoyar a otros agentes, evaluaciones utilizando imágenes grabadas e informes sobre reproducción en dispositivos reales.
Como código abierto para uso comercial.
El código original de EmplifAI está publicado en Apache-2.0 y está disponible para uso comercial. Se aplican las condiciones respectivas a los SDK externos, los modelos robot y los servicios API. Solicitamos que las contribuciones sean aprobadas por el DCO. Este proyecto es un esfuerzo independiente de EmplifAI y no representa ningún respaldo o respaldo por parte de robot o el proveedor del modelo.
GitHub: ver el código fuente, el procedimiento de inicio y la muestra real
X de Hiroyuki Osone: mira el vídeo real
Si está considerando soporte de implementación para máquinas reales, desarrollo de tareas personalizadas o evaluación conjunta, contáctenos con el objetivo robot y la tarea.