¿Qué es la IA física?La IA con cuerpo físico comienza a funcionar en el mundo real.
La IA física es un área de la IA que reconoce el mundo real y funciona moviendo el cuerpo. A diferencia de la IA, que genera texto e imágenes en una pantalla, necesita producir resultados en la realidad, que está sujeta a las leyes de la física y la incertidumbre. EmplifAI está trabajando en la implementación social en este ámbito mediante el desarrollo de nuestro propio humanoide OpenShell.
Consulta sobre desarrollo de IA física
Simulación de transporte de fábrica/almacén.
Unitree G1
Una simulación de física en Isaac Sim verificó el comportamiento de sostener una caja de 0,25 kg con ambas manos, caminar aproximadamente 1,2 m y colocarla sobre otra plataforma. Este no es un vídeo de la máquina real.
RealMan RMC-AIDAL
Agarramos el asa de una hipotética maleta de transporte con un tamaño de cuerpo de 30 x 20 x 20 cm y un peso total de 10 kg, y verificamos el proceso de transportarla sobre ruedas durante aproximadamente 1,2 m, colocarla sobre un soporte y luego soltarla. Esta es una simulación física que corrige el centro de gravedad y la configuración de contacto del modelo CAD público, y no garantiza la capacidad de carga de la máquina real.
RealMan RMC-AIDAL: transporte de maletas de 10 kg con ambos brazos
Se verificó el funcionamiento de sujetar con ambas manos una hipotética caja de transporte con un tamaño de cuerpo de 30 x 40 x 20 cm y un peso total de 10 kg mediante las asas izquierda y derecha, transportarla aproximadamente 1,2 m y colocarla sobre un soporte. Durante el transporte se registra el contacto entre la mano izquierda y derecha y el reparto de carga. Esta es una simulación física que corrige el centro de gravedad y la configuración de contacto del modelo CAD público, y no garantiza la capacidad de carga de la máquina real.
También puede consultarnos sobre simulaciones y experimentos de demostración adaptados a su negocio, como reabastecimiento de estantes, suministro de cajas de piezas y clasificación.
Entorno/caja de materiales 3D: NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Estamos ajustando la conversión de materiales, las dimensiones y los materiales de exhibición.
Gemelo digital 3D con 10,8 millones de puntos medidos que se pueden mover 360° en el navegador
Estos son datos reales medidos mientras caminamos en el laboratorio de desarrollo de robots de EmplifAI (entorno de instalación de robot humanoide/de doble brazo Unitree G1) durante solo 89 segundos usando nuestro propio XGRIDS Lixel K2. Además de poder rotar y hacer zoom 360° arrastrando o deslizando el mouse, puede experimentar el cambio entre cuatro modos de visualización, corte del techo (corte transversal) y salto del punto de vista al lugar de instalación del robot en el acto.
¿Qué se puede hacer con datos espaciales 3D XGRIDS × IA física?
El mayor valor de escanear un sitio en 3D no radica solo en la creación de dibujos para la visualización humana. Al combinar datos espaciales 3D de nivel milimétrico con los robots humanoides de EmplifAI (Unitree G1, etc.), manipuladores de doble brazo (OpenArm), modelos VLA y el entorno NVIDIA Isaac Sim, todo, desde el diagnóstico previo para la introducción del robot hasta el entrenamiento virtual, el movimiento autónomo y el control remoto, cambiará dramáticamente.
Digitaliza el espacio real en 89 segundos y crea un entorno de verificación virtual donde se mueven robots humanoides y de dos brazos
Incluso en fábricas, almacenes e instalaciones de investigación donde no existen dibujos, puede obtener nubes de puntos 3D y texturas de acción en vivo de toda la sala simplemente caminando con XGRIDS Lixel K2. En los datos de medición reales del laboratorio EmplifAI, todo el espacio (68,3 m2, 10,8 millones de puntos), incluido el humanoide junto a la ventana (Unitree G1) y la celda de trabajo del robot de doble brazo en el centro, se convirtió en datos espaciales en solo 89 segundos. Al importar el espacio adquirido al entorno NVIDIA Isaac Sim o ROS 2, puede ejecutar simulaciones (Real2Sim2Real) de rutas para caminar, control de todo el cuerpo y movimientos de agarre antes de llevar la máquina real al sitio.
¿Qué se puede conseguir con esta combinación?
- Construya un espacio virtual 3D a gran escala donde los humanoides y los AMR corren y trabajan simplemente caminando por el sitio.
- Modelo de detección de colisiones y cooperación de conversión de mapas de navegación para NVIDIA Isaac Sim, USD y ROS 2
- Generación de entornos para el aprendizaje por refuerzo de robots y el aprendizaje por imitación que refleja directamente los accesorios, bancos de trabajo y obstáculos del sitio.
Mira el vídeo: Del recorrido de 89 segundos a la creación de un espacio 3D con 10,8 millones de puntos
Puede alternar entre el vídeo de análisis multimodal de 360° del espacio del laboratorio realmente medido con XGRIDS Lixel K2 y el vídeo de acumulación espacial de 10,8 millones de puntos creado mediante escaneo láser.
Rotación de 360° × 3 modos de cambio continuo (RGB a todo color → Elevación cibernética → Rayos X LiDAR)
Este es un video de exhibición que rota 10,8 millones de puntos de datos espaciales 3D generados a partir de un solo escaneo andante (89 segundos) y los muestra en una rotación de 360° mientras cambia sin problemas entre tres modos: RGB a todo color de acción en vivo, holograma de elevación cibernética por altura y perspectiva de rayos X basada en la intensidad de reflexión del láser.
"Visualización de análisis/dibujo/inspección espacial 4K" que se puede desarrollar desde múltiples ángulos desde un solo escaneo
Desde los datos 3D de alta densidad adquiridos hasta nubes de puntos a todo color, hologramas de elevación, ortogramas arquitectónicos de cuadrícula de 1 m, planos de planta CAD con dimensiones automáticas, mapas de calor milimétricos de irregularidades del piso y verticalidad de las paredes y verificación de autorización de entrega del robot, puede desarrollar vistas de análisis que se adapten a su propósito. Haga clic en la miniatura para cambiar y haga clic en la imagen para ampliarla en alta resolución.
Haga clic para ampliar la imagen en alta definición 4KMuestra de análisis espacial 3D multimodal de 4 divisiones
A partir de los datos de un escaneo, se pueden desarrollar simultáneamente cuatro modos: (1) nube de puntos RGB a todo color, (2) perspectiva del mapa de calor de elevación, (3) ortoplano arquitectónico de cuadrícula de 1 m y (4) perfil de sección transversal. Puede comprender la apariencia, las dimensiones y la estructura del espacio de un vistazo.
Significado de la IA física
La IA física es un término que se refiere a la IA que reconoce el mundo real, toma decisiones y trabaja a través del cuerpo. Capta su entorno con cámaras y sensores de distancia, decide qué acción tomar a continuación y mueve sus brazos, ruedas y piernas para afectar objetos y personas. Puede ser más fácil de entender si lo reformulas como "IA con cuerpo".
La razón por la que ha atraído rápidamente la atención en los últimos años es que ahora se pueden aplicar modelos a gran escala al control de robots. Hasta ahora, los movimientos de los robots debían ser programados detalladamente por humanos para cada tarea. En la IA física, cada vez es más realista aprender acciones mostrando a las personas lo que están haciendo, o generar acciones a partir de instrucciones verbales.
Sin embargo, esta área no es tan fácil como la IA generativa. Si está generando oraciones, incluso si obtiene algún resultado extraño, puede simplemente reescribirlo. El cuerpo real no se puede rehacer. Puede romperse si se le cae algo encima y puede ser peligroso si golpea a alguien. La dificultad de la IA física radica en garantizar que funcione en esta situación "irreversible".
Diferencias con la generación AI
Incluso con la misma IA, la tecnología requerida y los métodos de evaluación diferirán según el objetivo.
El objeto a tratar es la realidad.
La entrada y salida de la generación de IA son los datos. El resultado de la IA física es el movimiento físico, que depende de condiciones como la fricción, el peso, la desviación y el deslizamiento. Las mismas instrucciones no producirán siempre los mismos resultados.
El costo del fracaso es alto.
Puedes reescribir el texto, pero no podrás recuperar lo que dejaste. Garantizar la seguridad y la reproducibilidad es tan importante, si no más, que el rendimiento.
No hay suficientes datos de entrenamiento
A diferencia de la gran cantidad de texto e imágenes disponibles en Internet, no tienes más remedio que recopilar tú mismo los datos del movimiento del robot. La recopilación de datos en sí misma es una gran parte del desarrollo.
No se permiten retrasos
El control tiene un ciclo fijo. Si la respuesta se retrasa, la postura colapsará y el movimiento fracasará. Equilibrar la cantidad de cálculo y la velocidad de respuesta es una restricción de diseño.
La evaluación depende del campo.
La tasa de éxito en el campo real es más significativa que las cifras de referencia. Si el entorno cambia, como la iluminación, las superficies del suelo y los movimientos de las personas, los resultados también cambiarán.
Inseparable del diseño de la carrocería.
Lo que puedes aprender cambia según el tipo de mano que uses y cuántos grados de libertad tengas. El software no se puede desarrollar de forma aislada.
Tecnología que respalda la IA física
Esta es la tecnología elemental en la que EmplifAI está trabajando.
- aprendizaje por imitación
- Un método para aprender los movimientos de los robots a partir de demostraciones de tareas realizadas por humanos. En lugar de escribir los movimientos en un programa, los enseñamos mediante demostraciones.
- VLA（Vision-Language-Action）
- Un modelo que conecta la comprensión visual y lingüística con la generación de acción. Decide la siguiente acción basándose en las instrucciones verbales y la situación que tienes delante.
- Sim2Real
- Un método para transferir el control aprendido y verificado mediante simulación a la máquina real. Se requiere un diseño que tenga en cuenta diferencias como la fricción, la masa, el error del sensor y el retraso en la comunicación.
- Control remoto/telepresencia
- Tecnología que transfiere los movimientos físicos y las intenciones de un operador a un robot en tiempo real. Se puede utilizar tanto para el funcionamiento real antes de la automatización como para recopilar datos de aprendizaje.
- Recopilación de datos de entrenamiento.
- El proceso de diseño del trabajo objetivo, robot, cantidad de recolección y estándares de calidad, y adquisición de datos utilizando la máquina real. Esta será la base para el desarrollo de la IA física.
- ROS 2 / LeRobot
- Una base utilizada para implementar el control y el aprendizaje de robots. Diseño que incluye conexión con robotSDK existente.
Aplicación a humanoides
Los humanoides están atrayendo la atención como una fuente potencial de IA física. La razón es simple: puedes utilizar el entorno creado para las personas tal cual. La diferencia con las máquinas dedicadas es que se pueden llevar al sitio sin instalar nuevos equipos dedicados.
OpenShell, desarrollado por EmplifAI, es un humanoide de 28 ejes que combina una cabeza expresiva, dos brazos y un carro. Elegí esta configuración para estudiar tanto la capacidad de trabajar como la forma de interactuar con las personas al mismo tiempo. Tener una cara facilita que la gente te hable y transmite tus intenciones. Aunque esto no aparece en la tabla de desempeño, definitivamente es efectivo en el lugar de trabajo donde hay personas presentes.
Al implementar algo, es más realista comenzar con el control remoto y ampliar gradualmente el alcance de la automatización, en lugar de aspirar a una automatización completa desde el principio. Los datos de aprendizaje se acumulan a medida que el sitio se opera de forma remota y esos datos se convierten en el material para la automatización.
Soporte para el desarrollo físico de la IA
OpenShell
Un humanoide desarrollado internamente. Se enumeran las especificaciones como plataforma de investigación y desarrollo.
Soporte de desarrollo Sim2Real
Soporte de desarrollo desde simulación hasta verificación de dispositivo real utilizando NVIDIA Isaac Sim/Isaac Lab.
Contrato de recopilación de datos de aprendizaje de robots
Nos encargamos de la recopilación de datos necesarios para el aprendizaje por imitación y la verificación del funcionamiento, desde el diseño del estado hasta la entrega.
Kit de adquisición de datos de aprendizaje de robots.
Propondremos la configuración del entorno de adquisición de datos, incluyendo equipos de control remoto, cámaras y PC de grabación.
Robot SI/Soporte de introducción
Brindamos soporte constante desde la selección hasta la instalación y operación de robots de IA.
Logros/estudios de casos
Estamos publicando iniciativas como el aprendizaje por imitación, la implementación de VLA y la telepresencia remota/compartida del cuerpo.
NVIDIA GEAR Sonic × Unitree G1: Verificación de operación en máquina real
Ejecutamos NVIDIA GEAR Sonic en el Unitree G1 real y confirmamos su funcionamiento. Aquí tenéis un vídeo del proceso de verificación.
Gemini 4 Argon × Unitree G1: demostración de agarre autónomo que convierte la visión en acción
Utilizando Gemini 4 Argon, realizamos una prueba de máquina real en la que Unitree G1 agarra y levanta una botella de plástico. No se utiliza ningún movimiento codificado; La IA convierte directamente la información visual de la cámara en acciones.
Incluso si cambia la posición del objeto y lo vuelve a colocar, la IA comprenderá la situación visualmente y generará un movimiento de agarre. También aceptamos la implementación de AI/VLA física utilizando Unitree G1 y el desarrollo por contrato de experimentos de demostración/PoC adaptados al negocio objetivo.
Preguntas frecuentes
¿Cuál es la diferencia entre la IA física y la robótica?
La robótica se refiere a la robótica en general, incluidos mecanismos, controles y sensores. La IA física es un término que enfatiza el papel de la IA en el reconocimiento del mundo real y la determinación de acciones. Los dos no son contradictorios; La IA física se basa en la robótica.
¿Se puede utilizar la IA física en la práctica ahora mismo?
Depende del propósito. Aunque todavía quedan muchos problemas por resolver antes de reemplazar completamente el trabajo humano, en este punto se puede poner en práctica en aplicaciones donde "interactuar con personas" en sí es valioso, como servicio al cliente, orientación y atracción de clientes, y en operaciones que involucran control remoto.
¿Puedes hacer que los robots aprendan tu trabajo?
Depende del trabajo objetivo. Primero, organice su trabajo y vea si puede obtener datos de demostración y definir métricas de evaluación. Es seguro comenzar con una prueba de concepto centrada en una tarea. Si nos informa el trabajo objetivo y la situación actual, le sugeriremos cómo proceder.
¿Cuántos datos de entrenamiento necesito?
Varía según la dificultad de la tarea, el grado de variación del entorno y la tasa de éxito deseada. Primero realizamos una recolección de prueba, determinamos la cantidad requerida y los estándares de calidad y luego procedemos a la recolección real.
¿Con qué robot debería empezar?
Para investigación y desarrollo, robot es fácil de usar, ya que se lanzan modelos y SDK compatibles con el desarrollo secundario. Sugeriremos robot, que realmente se utiliza en la verificación, como Unitree G1 y OpenShell. También puedes alquilarlo y probarlo antes de decidirte.
Consulta sobre el desarrollo físico de la IA
Háganos saber el robot objetivo, el trabajo que desea realizar y su entorno de desarrollo actual. Puede consultar con nosotros incluso cuando no se hayan decidido los requisitos y la selección de tecnología. También es posible comenzar con una PoC para una tarea.
Consulta sobre desarrollo de IA física