VLA/desarrollo del aprendizaje por imitaciónAprenda movimientos que no se pueden escribir de las manifestaciones de otras personas.
Es difícil anotar los movimientos en un programa cuando la forma o posición del objeto cambia cada vez. Estamos trabajando en implementar el aprendizaje por imitación, que aprende movimientos a partir de demostraciones humanas, y VLA, que conecta la comprensión visual y lingüística con la generación de movimientos.
Consultar sobre VLA/aprendizaje por imitación
Simulación de transporte de fábrica/almacén.
Unitree G1
Una simulación de física en Isaac Sim verificó el comportamiento de sostener una caja de 0,25 kg con ambas manos, caminar aproximadamente 1,2 m y colocarla sobre otra plataforma. Este no es un vídeo de la máquina real.
RealMan RMC-AIDAL
Agarramos el asa de una hipotética maleta de transporte con un tamaño de cuerpo de 30 x 20 x 20 cm y un peso total de 10 kg, y verificamos el proceso de transportarla sobre ruedas durante aproximadamente 1,2 m, colocarla sobre un soporte y luego soltarla. Esta es una simulación física que corrige el centro de gravedad y la configuración de contacto del modelo CAD público, y no garantiza la capacidad de carga de la máquina real.
RealMan RMC-AIDAL: transporte de maletas de 10 kg con ambos brazos
Se verificó el funcionamiento de sujetar con ambas manos una hipotética caja de transporte con un tamaño de cuerpo de 30 x 40 x 20 cm y un peso total de 10 kg mediante las asas izquierda y derecha, transportarla aproximadamente 1,2 m y colocarla sobre un soporte. Durante el transporte se registra el contacto entre la mano izquierda y derecha y el reparto de carga. Esta es una simulación física que corrige el centro de gravedad y la configuración de contacto del modelo CAD público, y no garantiza la capacidad de carga de la máquina real.
También puede consultarnos sobre simulaciones y experimentos de demostración adaptados a su negocio, como reabastecimiento de estantes, suministro de cajas de piezas y clasificación.
Entorno/caja de materiales 3D: NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Estamos ajustando la conversión de materiales, las dimensiones y los materiales de exhibición.
Hay tareas que no se pueden escribir con un programa.
Si desea agarrar un objeto fijo en una posición fija, es más seguro y rápido anotar el movimiento. El único momento en el que tiene sentido mencionar el aprendizaje es cuando tienes una tarea que no puedes escribir.
La forma de cada objeto es diferente, la forma de colocarlo cambia cada vez y se deforma como una bolsa o una tela. Este tipo de trabajo no puede escribir ramas condicionales. Un enfoque más realista es mostrar a las personas cómo realizar los movimientos y hacer que los aprendan.
Por otro lado, el aprendizaje no es igual para todos. La cantidad de datos necesarios varía según la dificultad de la tarea y la tasa de éxito deseada, y hay algunas partes que no se pueden leer por completo hasta que las recopiles. Nuestro enfoque es determinar la calidad mediante una recolección de prueba y luego pasar a la recolección real.
Ejemplo de implementación: Gemini 4 Argon × Unitree G1 (conversión de visual a acción)
Utilizando Gemini 4 Argon, verificamos con éxito que Unitree G1 agarra y levanta una botella de plástico sin utilizar ningún movimiento codificado. La IA convierte la información visual de la cámara directamente en acciones del robot y genera movimientos de agarre según la situación, incluso si el objeto se reposiciona y se reposiciona.
Diseñaremos e implementaremos generación de acciones visuales utilizando este modelo básico, VLA, y aprendizaje de imitación basado en datos de desempeño humano, adaptado al robot objetivo y a las condiciones de trabajo en el sitio.
Rango que se puede aceptar
Aislamiento del trabajo objetivo.
Separa las partes que se deben resolver estudiando y las partes que son más rápidas de anotar. No necesitas aprenderlo todo.
Diseño de recopilación de datos de demostración.
¿Qué registrar, desde qué perspectiva y cuánto? Diseño de objetivos de trabajo, robot y estándares de calidad.
Demostración por control remoto
Los movimientos físicos del operador se transfieren al robot y los datos se recopilan mientras el robot trabaja en la máquina real. Puedes proceder con la operación y el cobro al mismo tiempo.
Implementación del aprendizaje por imitación.
Aprende el comportamiento a partir de los datos recopilados y evalúa la tasa de éxito. Implementado en base a ROS 2/LeRobot.
Implementación de VLA
Conectando la comprensión visual y del lenguaje con la generación de acción. Esta estructura implica decidir la siguiente acción en función de las instrucciones verbales y la situación que tienes delante.
Evaluación en máquina real
Medimos la tasa de éxito y el takt time en el sitio objetivo, en lugar de utilizar puntos de referencia. Especifique el rango de validez cambiando las condiciones.
Los datos son la base de todo.
El éxito o el fracaso del aprendizaje está determinado por los datos anteriores al modelo. Falta perspectiva, no hay ejemplos de fracasos y las condiciones laborales son inestables. Incluso si lo entrenas usando estos datos, no funcionará en el campo.
En nuestra empresa, adquirimos datos del equipo real después de diseñar el trabajo objetivo, robot, la cantidad de recolección y los estándares de calidad. También tenemos una configuración que le permite registrar sincrónicamente información visual, de comportamiento, de diálogo y no verbal mientras trabaja de forma remota.
Es posible confiar únicamente la recopilación de datos, o consultar únicamente sobre la construcción del entorno de recopilación.
NVIDIA GEAR Sonic × Unitree G1: Verificación de operación en máquina real
Ejecutamos NVIDIA GEAR Sonic en el Unitree G1 real y confirmamos su funcionamiento. Aquí tenéis un vídeo del proceso de verificación.
Gemini 4 Argon × Unitree G1: demostración de agarre autónomo que convierte la visión en acción
Utilizando Gemini 4 Argon, realizamos una prueba de máquina real en la que Unitree G1 agarra y levanta una botella de plástico. No se utiliza ningún movimiento codificado; La IA convierte directamente la información visual de la cámara en acciones.
Incluso si cambia la posición del objeto y lo vuelve a colocar, la IA comprenderá la situación visualmente y generará un movimiento de agarre. También aceptamos la implementación de AI/VLA física utilizando Unitree G1 y el desarrollo por contrato de experimentos de demostración/PoC adaptados al negocio objetivo.
Preguntas frecuentes
¿Cuántos datos de entrenamiento necesito?
Varía según la dificultad de la tarea, el grado de variación del entorno y la tasa de éxito deseada. Primero realizamos una recolección de prueba, determinamos la cantidad requerida y los estándares de calidad y luego procedemos a la recolección real. No prometemos el importe total desde el principio.
No tengo los datos, ¿puedo empezar?
Sí. Nos encargamos de todo, desde el diseño de la colección. Si utiliza una configuración que le permite controlar de forma remota la máquina real mientras graba, puede continuar con las operaciones y la recopilación de datos al mismo tiempo.
¿Qué robot puede implementarlo?
Si el robot se puede controlar con ROS 2 o robotSDK, podemos consultarlo. Los modelos compatibles con el desarrollo secundario son más fáciles de manejar. Háganos saber el objetivo robot.
¿Cuál es la diferencia entre VLA y aprendizaje por imitación?
El aprendizaje por imitación es un término general para los métodos para adquirir movimientos a partir de la actuación humana. VLA se refiere a la configuración de un modelo que conecta la comprensión visual y lingüística con la generación de acciones, y se diferencia en que puede manejar instrucciones verbales. Úsalos dependiendo del trabajo objetivo.
Consulta VLA/aprendizaje por imitación.
Háganos saber el trabajo de destino, robot, y el estado de los datos que tiene actualmente. Trabajaremos con usted para determinar el alcance del estudio que debe resolverse.
Consultar sobre VLA/aprendizaje por imitación