IA multimodal (VLM) × PoC de agarre/pellizco autónomo humanoideEn lugar de depender de trayectorias codificadas, la IA comprende y capta la situación a partir de la información visual de la cámara.
Este es un servicio PoC real que combina la última IA multimodal (VLM/VLA), como Gemini 4 Argon con Unitree G1 (configuración de mano de 5 dedos) y un robot de dos brazos para reconocer la posición, la postura y el entorno de los objetos a partir de imágenes de la cámara y agarrarlos y colocarlos de forma autónoma (elegir y colocar). Incluso si el objeto se reposiciona y reposiciona cada vez, la IA genera el movimiento de agarre basándose en el juicio visual, lo que permite realizar rápidamente una "verificación de viabilidad de automatización en un solo paso" antes de recopilar datos para cientos o miles de sesiones de aprendizaje por imitación.
Consulta sobre IA multimodal (VLM) x PoC de agarre/pellizco autónomo humanoide
Contenido de la consulta y entregables.
- Validaciónrobot
- Seleccione entre Unitree G1 (configuración de mano/pinza con 5 dedos), AgiBot G2, brazos duales OpenArm, RealMan, etc.
- Plataforma de reconocimiento/IA
- Reconocimiento visual/razonamiento espacial usando el último VLM como Gemini 4 Argon + cinemática inversa (IK)/control de habilidades o política VLA
- Ejemplo de tarea objetivo
- Reconoce botellas de bebidas, piezas de resina, cajas, herramientas, etc., las agarra, las mantiene en posición vertical, las transporta y las coloca en bandejas designadas.
- Paso de demostración
- ① Prueba de agarre en el Laboratorio Yushima utilizando muestras de objetos ② Evaluación de la resistencia a los cambios de posición y de iluminación ③ Diseño del entorno local y siguiente etapa (recopilación de datos, aprendizaje dedicado)
- Entregables
- Video de verificación real de la máquina, informe de análisis de la tasa de éxito, tiempo de ciclo, factores de falla, definición de requisitos técnicos para una implementación a gran escala
- precio
- Estimaciones individuales según el tipo de objeto, uso robot, período de verificación y ubicación
como proceder
Preguntaremos sobre la situación actual, el objetivo robot, las condiciones del sitio y el momento deseado, y luego comenzaremos a trabajar después de acordar el alcance y las condiciones previas de la implementación. Los entregables y precios se especificarán en la cotización individual.
Acorte drásticamente el inicio de PoC con la arquitectura "Visual → Behavior Conversion" probada en nuestro propio laboratorio
01 Compatible con "variaciones de colocación" que no se pueden manejar con programas de coordenadas fijas
Con el control de enseñanza convencional, si el objeto se desplaza sólo unos pocos centímetros, perderá el balanceo, pero con la cooperación VLM, la posición 3D del objeto y el enfoque de agarre se infieren cada vez a partir de la imagen de la cámara. Puedes verificar que el objeto seguirá y volverá a agarrar incluso si se coloca nuevamente.
02 La forma más rápida de determinar si se puede entender como hardware antes de recopilar grandes cantidades de datos
Antes de invertir en recopilar miles de episodios de datos de aprendizaje de imitación desde el principio, puede utilizar el control de habilidades VLM + para determinar si el alcance actual, la fuerza de agarre y el ángulo de visión de la cámara del robot pueden manejar la pieza a un costo pequeño y en un corto período de tiempo.
03 Transición perfecta de la inferencia VLM a VLA dedicado (π0.5/GR00T/ACT, etc.)
Después de confirmar la viabilidad del proceso mediante la verificación de disparo cero o de disparo pequeño utilizando VLM, los datos de operación remota se recopilan utilizando el mismo entorno de máquina real y el proceso se actualiza gradualmente a un modelo VLA dedicado y una política de aprendizaje de imitación que opera a alta velocidad y sin conexión.
NVIDIA GEAR Sonic × Unitree G1: Verificación de operación en máquina real
Ejecutamos NVIDIA GEAR Sonic en el Unitree G1 real y confirmamos su funcionamiento. Aquí tenéis un vídeo del proceso de verificación.
Gemini 4 Argon × Unitree G1: demostración de agarre autónomo que convierte la visión en acción
Utilizando Gemini 4 Argon, realizamos una prueba de máquina real en la que Unitree G1 agarra y levanta una botella de plástico. No se utiliza ningún movimiento codificado; La IA convierte directamente la información visual de la cámara en acciones.
Incluso si cambia la posición del objeto y lo vuelve a colocar, la IA comprenderá la situación visualmente y generará un movimiento de agarre. También aceptamos la implementación de AI/VLA física utilizando Unitree G1 y el desarrollo por contrato de experimentos de demostración/PoC adaptados al negocio objetivo.
Preguntas frecuentes
¿Qué puedo solicitar con la PoC de agarre/recolección autónoma multimodal (VLM) x humanoide?
Este es un servicio PoC real que combina la última IA multimodal (VLM/VLA), como Gemini 4 Argon con Unitree G1 (configuración de mano de 5 dedos) y un robot de dos brazos para reconocer la posición, la postura y el entorno de los objetos a partir de imágenes de la cámara y agarrarlos y colocarlos de forma autónoma (elegir y colocar). Incluso si el objeto se reposiciona y reposiciona cada vez, la IA genera el movimiento de agarre basándose en el juicio visual, lo que permite realizar rápidamente una "verificación de viabilidad de automatización en un solo paso" antes de recopilar datos para cientos o miles de sesiones de aprendizaje por imitación. El alcance específico del trabajo se confirmará y acordará antes de comenzar el trabajo, incluido robot, el sitio y los entregables deseados.
¿Cómo se determinan los costos y el alcance de entrega del PoC de agarre/pellizco autónomo multimodal AI (VLM) x humanoide?
Confirmaremos el robot objetivo, la cantidad de unidades, la ubicación de implementación y los entregables requeridos, y proporcionaremos una estimación individual de disponibilidad, alcance del trabajo, condiciones de finalización y costo.
¿Podría enviar sus propias piezas y muestras de productos al laboratorio y ver si Unitree G1, etc. puede captarlos?
Sí. Después de confirmar las dimensiones, el peso y el material del objeto (presencia de daños o fuga de líquido) con anticipación, envíe la muestra al laboratorio EmplifAI en Yushima, Tokio, y realizaremos una prueba de agarre utilizando nuestra Unitree G1 o máquina de doble brazo, y reportaremos el video y los datos de evaluación.
IA multimodal (VLM) × consulta PoC de agarre/pellizco autónomo humanoide
Háganos saber el robot objetivo, la ubicación, el problema que desea resolver y el momento deseado. Le informaremos sobre los detalles de implementación y presupuesto.
Consulta sobre IA multimodal (VLM) x PoC de agarre/pellizco autónomo humanoide