Desarrollo de políticas de aprendizaje por refuerzo y generación de comportamiento humanoide a partir de videos de acción en vivoDesde vídeos en vivo de movimientos humanos hasta paquetes de movimientos humanoides que han sido evaluados con simulación física.
Conversión de reorientación a datos de trayectoria conjunta (NPZ/CSV) para humanoides como Unitree G1 y Unitree R1 basada en videos de movimiento humano tomados con teléfonos inteligentes y cámaras, MuJoCo / Isaac. Este es un servicio de desarrollo que ofrece un paquete para la ejecución real de la máquina (modelo ONNX y conjunto de configuraciones) después de aprender una política de seguimiento de todo el cuerpo usando aprendizaje por refuerzo (PPO) usando Lab (mjlab) y evaluando la seguridad y finalización usando simulación física de circuito cerrado. (Sim2Sim).
Consulte sobre generación de comportamiento humanoide y desarrollo de políticas de aprendizaje por refuerzo a partir de videos de acción en vivo.
Contenido de la consulta y entregables.
- Compatible con robot.
- Unitree G1 (23-29DoF, etc.), Unitree R1 (26DoF), etc. (Configuración de destino/versión del controlador fijada de antemano)
- Condiciones de entrada
- Vídeo de una sola persona mostrando todo el cuerpo y los dedos de los pies (incluye acciones paso a paso excluyendo saltar, tumbarse en el suelo, rotación vigorosa, etc.)
- Menú de oferta
- ① Conversión de datos de trayectoria de referencia (NPZ/CSV) ② Evaluación física de circuito cerrado con controlador de cuerpo completo existente ③ Aprendizaje de refuerzo PPO específico del movimiento y entrega ONNX ④ Verificación real de la máquina
- Elementos de evaluación física.
- Inspección cuantitativa de tasa de finalización, presencia de caídas, error de seguimiento de trayectoria, deslizamiento del pie, ángulo de articulación/límite de velocidad, autocolisión, saturación de torque
- Entregables
- Datos de movimiento normalizados (NPZ/CSV), ONNX/puntos de control evaluados, observación/especificaciones de comportamiento/configuraciones de ganancia de PD, informe de evaluación
- precio
- Estimaciones basadas en la duración y la cantidad de videos, el alcance de la evaluación de la simulación física, el aprendizaje por refuerzo individual y las pruebas de máquinas reales.
como proceder
Preguntaremos sobre la situación actual, el objetivo robot, las condiciones del sitio y el momento deseado, y luego comenzaremos a trabajar después de acordar el alcance y las condiciones previas de la implementación. Los entregables y precios se especificarán en la cotización individual.
Un canal de verificación física/generación de movimiento de 4 pasos que evita fallas debido a "JSON recién convertido"
01 Inspección de la calidad del vídeo y redireccionamiento de alta precisión a esqueletos de robots
Estima la postura del cuerpo humano en 3D, la posición de la ruta y el estado de contacto con el suelo a partir de videos de acción en vivo y genera una trayectoria normalizada de fotograma completo (NPZ/CSV) que coincide con la longitud del enlace, el orden de las articulaciones y las limitaciones de rango de movimiento del objetivo robot (G1/R1).
02 Evaluación de simulación física de circuito cerrado utilizando control del equilibrio de todo el cuerpo (SONIC, etc.)
Si solo se utiliza la conversión de pose cinemática, el avión real no podrá soportar el cambio del centro de gravedad y caerá. Ingrese la trayectoria de referencia en la política de control de todo el cuerpo en el simulador de física y verifique la estabilidad frente a fluctuaciones en la fricción, el retraso y la postura inicial.
03 Aprendizaje por refuerzo específico del comportamiento (mjlab PPO) y resultado de la política ONNX
El aprendizaje por refuerzo PPO se realiza en el entorno GPU de Yushima Lab (RTX A6000 48 GB, etc.) para gestos y movimientos repetitivos que son difíciles de reproducir solo con dispositivos de seguimiento de uso general. Solo los puntos de control que pasan los criterios de evaluación se empaquetan en formato ONNX.
04 Opción de verificación de hardware en máquinas reales propias (G1/R1)
Si lo solicita, probaremos la postura inicial, la repetición del movimiento y el retorno a la parada en una máquina real en el laboratorio EmplifAI, y entregaremos el producto junto con imágenes del funcionamiento real de la máquina y los parámetros de operación segura.
NVIDIA GEAR Sonic × Unitree G1: Verificación de operación en máquina real
Ejecutamos NVIDIA GEAR Sonic en el Unitree G1 real y confirmamos su funcionamiento. Aquí tenéis un vídeo del proceso de verificación.
Gemini 4 Argon × Unitree G1: demostración de agarre autónomo que convierte la visión en acción
Utilizando Gemini 4 Argon, realizamos una prueba de máquina real en la que Unitree G1 agarra y levanta una botella de plástico. No se utiliza ningún movimiento codificado; La IA convierte directamente la información visual de la cámara en acciones.
Incluso si cambia la posición del objeto y lo vuelve a colocar, la IA comprenderá la situación visualmente y generará un movimiento de agarre. También aceptamos la implementación de AI/VLA física utilizando Unitree G1 y el desarrollo por contrato de experimentos de demostración/PoC adaptados al negocio objetivo.
Preguntas frecuentes
¿Qué puedo solicitar para el desarrollo de políticas de aprendizaje por refuerzo/generación de comportamiento humanoide a partir de vídeos de acción en vivo?
Conversión de reorientación a datos de trayectoria conjunta (NPZ/CSV) para humanoides como Unitree G1 y Unitree R1 basada en videos de movimiento humano tomados con teléfonos inteligentes y cámaras, MuJoCo / Isaac. Este es un servicio de desarrollo que ofrece un paquete para la ejecución real de la máquina (modelo ONNX y conjunto de configuraciones) después de aprender una política de seguimiento de todo el cuerpo usando aprendizaje por refuerzo (PPO) usando Lab (mjlab) y evaluando la seguridad y finalización usando simulación física de circuito cerrado. (Sim2Sim). El alcance específico del trabajo se confirmará y acordará antes de comenzar el trabajo, incluido robot, el sitio y los entregables deseados.
¿Cómo se determinan los costos y el alcance de la entrega para la generación de comportamiento humanoide y el desarrollo de políticas de aprendizaje por refuerzo a partir de videos de acción en vivo?
Confirmaremos el robot objetivo, la cantidad de unidades, la ubicación de implementación y los entregables requeridos, y proporcionaremos una estimación individual de disponibilidad, alcance del trabajo, condiciones de finalización y costo.
¿Cuál es la diferencia entre las herramientas de conversión de vídeo disponibles comercialmente y las API de movimiento económicas?
Las API de conversión de video generales solo generan "datos de series temporales de ángulos articulares" y, si los envía a un dispositivo real tal como está, se caerá debido a la gravedad y al deslizamiento de las plantas de los pies. La mayor diferencia con EmplifAI es que fija el perfil del objetivo robot (orden de unión, ganancia de PD, ciclo de control), pasa por una evaluación de simulación física de circuito cerrado (vuelco, saturación de par, inspección de autocolisión) y aprendizaje de refuerzo de PPO, y lo entrega como un paquete de control que se puede ejecutar en una máquina real.
¿Se puede convertir cualquier vídeo en movimiento humanoide?
No. Los saltos, giros intensos sobre una pierna, tocar el suelo, vídeos con varias personas superpuestas, etc. no se pueden reproducir directamente debido a limitaciones físicas. Antes de comenzar, revisamos el video de muestra y acordamos un rango posible, incluidas las condiciones para mantener el contacto con el suelo y suavizar la velocidad.
Consulta sobre generación de comportamiento humanoide y desarrollo de políticas de aprendizaje por refuerzo a partir de videos de acción en vivo.
Háganos saber el robot objetivo, la ubicación, el problema que desea resolver y el momento deseado. Le informaremos sobre los detalles de implementación y presupuesto.
Consulte sobre generación de comportamiento humanoide y desarrollo de políticas de aprendizaje por refuerzo a partir de videos de acción en vivo.