Qu’est-ce que l’IA physique ?L’IA dotée d’un corps physique commence à fonctionner dans le monde réel.
L'IA physique est un domaine de l'IA qui reconnaît le monde réel et fonctionne en déplaçant le corps. Contrairement à l’IA, qui génère du texte et des images sur un écran, elle doit produire des résultats dans la réalité, soumise aux lois de la physique et de l’incertitude. EmplifAI travaille sur la mise en œuvre sociale dans ce domaine à travers le développement de notre propre humanoïde OpenShell.
Consultez sur le développement de l’IA physique
Simulation de transport usine/entrepôt
Unitree G1
Une simulation physique dans Isaac Sim a vérifié le comportement consistant à tenir une boîte de 0,25 kg à deux mains, à marcher environ 1,2 m et à la placer sur une autre plate-forme. Ce n'est pas une vidéo de la machine réelle.
RealMan RMC-AIDAL
Nous avons saisi la poignée d'une hypothétique valise de transport mesurant 30 x 20 x 20 cm et pesant au total 10 kg, et avons vérifié le processus de transport sur roues sur environ 1,2 m, en la plaçant sur un support, puis en la relâchant. Il s'agit d'une simulation physique qui corrige le centre de gravité et les paramètres de contact du modèle CAO public, et ne garantit pas la capacité de charge de la machine réelle.
RealMan RMC-AIDAL : transport de caisses de 10 kg avec les deux bras
Nous avons vérifié le fonctionnement consistant à tenir une hypothétique caisse de transport mesurant 30 x 40 x 20 cm et pesant au total 10 kg avec les deux mains à l'aide des poignées gauche et droite, en la transportant sur environ 1,2 m et en la plaçant sur un support. Pendant le transport, les contacts entre les mains gauche et droite et le partage de la charge sont enregistrés. Il s'agit d'une simulation physique qui corrige le centre de gravité et les paramètres de contact du modèle CAO public, et ne garantit pas la capacité de charge de la machine réelle.
Vous pouvez également nous consulter sur des simulations et des expériences de démonstration adaptées à votre entreprise, telles que le réapprovisionnement des étagères, l'approvisionnement en cartons de pièces et le tri.
Environnement/boîte matériaux 3D : NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Nous ajustons la conversion des matériaux, les dimensions et les matériaux d'affichage.
Jumeau numérique 3D avec 10,8 millions de points mesurés déplaçables à 360° sur le navigateur
Il s'agit de données réelles mesurées en marchant dans le laboratoire de développement de robots de EmplifAI (environnement d'installation de robot humanoïde/à double bras Unitree G1) pendant seulement 89 secondes en utilisant notre propre XGRIDS Lixel K2. En plus de pouvoir pivoter et zoomer à 360° en faisant glisser ou en glissant la souris, vous pouvez expérimenter la commutation entre quatre modes d'affichage, le découpage du plafond (coupe transversale) et le saut de point de vue vers le point d'installation du robot sur place.
Que peut-on faire avec les données spatiales 3D XGRIDS × l'IA physique ?
La plus grande valeur de la numérisation 3D d’un site ne réside pas seulement dans la création de dessins visibles par l’homme. En combinant des données spatiales 3D au niveau millimétrique avec les robots humanoïdes de EmplifAI (Unitree G1, etc.), les manipulateurs à double bras (OpenArm), les modèles VLA et l'environnement NVIDIA Isaac Sim, tout, du pré-diagnostic pour l'introduction du robot à l'entraînement virtuel, en passant par le mouvement autonome et le contrôle à distance, va changer radicalement.
Numérisez l'espace réel en 89 secondes et créez un environnement de vérification virtuel dans lequel se déplacent des robots humanoïdes et à deux bras.
Même dans les usines, les entrepôts et les centres de recherche où les dessins n'existent pas, vous pouvez obtenir des nuages de points 3D et des textures en direct de toute la pièce en vous promenant simplement avec XGRIDS Lixel K2. Dans les données de mesure réelles du laboratoire EmplifAI, l'espace entier (68,3 m2, 10,8 millions de points), y compris l'humanoïde près de la fenêtre (Unitree G1) et la cellule de travail du robot à deux bras au centre, a été converti en données spatiales en seulement 89 secondes. En important l'espace acquis dans l'environnement NVIDIA Isaac Sim ou ROS 2, vous pouvez exécuter des simulations (Real2Sim2Real) d'itinéraires de marche, de contrôle du corps entier et de mouvements de préhension avant d'amener la machine réelle sur le site.
Que peut-on réaliser avec cette combinaison
- Construisez un espace virtuel 3D à grande échelle où les humanoïdes et les AMR courent et travaillent simplement en se promenant sur le site.
- Coopération entre modèle de détection de collision et conversion de carte de navigation pour NVIDIA Isaac Sim, USD et ROS 2
- Génération d'environnement pour l'apprentissage par renforcement et l'apprentissage par imitation des robots qui reflète directement les équipements, les établis et les obstacles sur site
Voir la vidéo : D'une présentation de 89 secondes à la création d'un espace 3D de 10,8 millions de points
Vous pouvez basculer entre la vidéo d'analyse multimodale à 360° de l'espace du laboratoire réellement mesurée avec XGRIDS Lixel K2 et la vidéo de construction spatiale de 10,8 millions de points créée par balayage laser.
Rotation à 360° × 3 modes de changement continu (RVB couleur → Cyber-élévation → Rayon X LiDAR)
Il s'agit d'une vidéo de démonstration qui fait pivoter 10,8 millions de points de données spatiales 3D générées à partir d'un seul scan de marche (89 secondes) et les affiche dans une rotation de 360° tout en basculant de manière transparente entre trois modes : RVB couleur en direct, hologramme de cyber-élévation par hauteur et perspective de rayons X basée sur l'intensité de la réflexion laser.
« Analyse spatiale/dessin/visualisation d'inspection 4K » pouvant être développée sous plusieurs angles à partir d'un seul scan
Des données 3D haute densité acquises aux nuages de points en couleur, en passant par les hologrammes d'élévation, les ortho-diagrammes architecturaux en grille de 1 m, les plans d'étage CAO avec dimensions automatiques, les cartes thermiques millimétriques des irrégularités du sol et de la verticalité des murs, et la vérification des dégagements de livraison par robot, vous pouvez développer des vues d'analyse adaptées à votre objectif. Cliquez sur la vignette pour changer, puis cliquez sur l'image pour l'agrandir en haute résolution.
Cliquez pour agrandir l'image haute définition 4KVitrine d'analyse spatiale 3D multimodale à 4 divisions
À partir d'une seule donnée numérisée, quatre modes peuvent être développés simultanément : (1) nuage de points RVB en couleur, (2) perspective de carte thermique d'élévation, (3) orthoplan architectural en grille de 1 m et (4) profil transversal. Vous pouvez comprendre l’apparence, les dimensions et la structure de l’espace en un coup d’œil.
Signification de l'IA physique
L'IA physique est un terme qui fait référence à l'IA qui reconnaît le monde réel, prend des décisions et agit à travers le corps. Il capture son environnement avec des caméras et des capteurs de distance, décide quelle action entreprendre ensuite et bouge ses bras, ses roues et ses jambes pour affecter les objets et les personnes. Cela peut être plus facile à comprendre si vous le reformulez comme « une IA avec un corps ».
La raison pour laquelle ce phénomène a rapidement attiré l’attention ces dernières années est que des modèles à grande échelle peuvent désormais être appliqués au contrôle des robots. Jusqu'à présent, les mouvements des robots devaient être programmés en détail par des humains pour chaque tâche. Dans l’IA physique, il devient plus réaliste d’apprendre des actions en montrant aux gens ce qu’ils font, ou de générer des actions à partir d’instructions verbales.
Cependant, ce domaine n’est pas aussi simple que l’IA générative. Si vous générez des phrases, même si vous obtenez un résultat étrange, vous pouvez simplement le réécrire. Le corps réel ne peut pas être refait. Il peut se briser si vous laissez tomber quelque chose dessus, et cela peut être dangereux si vous heurtez quelqu'un. La difficulté de l’IA physique est de faire en sorte qu’elle fonctionne dans cette situation « irréversible ».
Différences avec la génération AI
Même avec la même IA, la technologie et les méthodes d’évaluation requises différeront selon la cible.
L'objet à traiter est la réalité.
L’entrée et la sortie de la génération AI sont des données. Le résultat de l’IA physique est un mouvement physique, qui dépend de conditions telles que la friction, le poids, la déviation et le glissement. Les mêmes instructions ne produiront pas les mêmes résultats à chaque fois.
Le coût de l’échec est élevé
Vous pouvez réécrire le texte, mais vous ne pouvez pas récupérer ce que vous avez laissé tomber. Garantir la sécurité et la reproductibilité est aussi important, sinon plus, que la performance.
Pas assez de données d'entraînement
Contrairement à la grande quantité de textes et d’images disponibles sur Internet, vous n’avez d’autre choix que de collecter vous-même les données sur les mouvements du robot. La collecte de données elle-même constitue une partie importante du développement.
Aucun retard autorisé
Le contrôle a un cycle fixe. Si la réponse est retardée, la posture s’effondrera et le mouvement échouera. Équilibrer la quantité de calcul et la vitesse de réponse est une contrainte de conception.
L'évaluation dépend du domaine
Le taux de réussite dans le domaine réel est plus significatif que les chiffres de référence. Si l'environnement change, comme l'éclairage, les surfaces au sol et les mouvements des personnes, les résultats changeront également.
Indissociable du design de la carrosserie
Ce que vous pouvez apprendre change en fonction du type de main que vous utilisez et du nombre de degrés de liberté dont vous disposez. Un logiciel ne peut pas être développé de manière isolée.
Technologie prenant en charge l’IA physique
Il s’agit de la technologie élémentaire sur laquelle EmplifAI travaille actuellement.
- apprentissage par imitation
- Une méthode pour apprendre les mouvements d'un robot à partir de démonstrations de tâches effectuées par des humains. Au lieu d’écrire les mouvements dans un programme, nous les enseignons par démonstration.
- VLA（Vision-Language-Action）
- Un modèle qui relie la compréhension visuelle et linguistique à la génération d’actions. Décidez de la prochaine action en fonction des instructions verbales et de la situation devant vous.
- Sim2Real
- Une méthode de transfert du contrôle appris et vérifié par simulation à la machine réelle. Une conception prenant en compte les différences telles que le frottement, la masse, l'erreur du capteur et le délai de communication est requise.
- Télécommande/téléprésence
- Technologie qui transfère en temps réel les mouvements physiques et les intentions d'un opérateur à un robot. Il peut être utilisé à la fois pour le fonctionnement réel avant l’automatisation et pour la collecte de données d’apprentissage.
- Collecte de données de formation
- Le processus de conception du travail cible, du montant de la collecte et des normes de qualité, et d'acquisition de données à l'aide de la machine réelle. Ce sera la base du développement de l’IA physique.
- ROS 2 / LeRobot
- Une fondation utilisée pour mettre en œuvre le contrôle et l’apprentissage des robots. Conception incluant la connexion avec le robotSDK existant.
Application aux humanoïdes
Les humanoïdes attirent l’attention en tant que source potentielle d’IA physique. La raison est simple : vous pouvez utiliser l’environnement créé pour les personnes tel quel. La différence avec les machines dédiées est qu’elles peuvent être amenées sur site sans installer de nouveaux équipements dédiés.
OpenShell, développé par EmplifAI, est un humanoïde à 28 axes qui combine une tête expressive, deux bras et un chariot. J'ai choisi cette configuration afin d'étudier à la fois la capacité de travailler et la manière d'interagir avec les gens. Avoir un visage permet aux gens de vous parler plus facilement et de transmettre vos intentions. Bien que cela n’apparaisse pas dans le tableau des performances, cela est certainement efficace sur le lieu de travail où les gens sont présents.
Lors de la mise en œuvre de quelque chose, il est plus réaliste de commencer par le contrôle à distance et d’étendre progressivement la portée de l’automatisation, plutôt que de viser dès le départ une automatisation complète. Les données d'apprentissage s'accumulent au fur et à mesure que le site est exploité à distance, et ces données deviennent le matériau de l'automatisation.
Prise en charge du développement de l'IA physique
OpenShell
Un humanoïde développé en interne. Les spécifications en tant que plateforme de recherche et développement sont répertoriées.
Prise en charge du développement Sim2Real
Prise en charge du développement, de la simulation à la vérification réelle des appareils à l'aide de NVIDIA Isaac Sim/Isaac Lab.
Contrat de collecte de données d'apprentissage des robots
Nous entreprenons la collecte des données nécessaires à l'apprentissage de l'imitation et à la vérification du fonctionnement, de la conception des conditions à la livraison.
Kit d'acquisition de données d'apprentissage de robot
Nous proposerons la configuration de l'environnement d'acquisition de données, y compris les équipements de contrôle à distance, les caméras et les PC d'enregistrement.
Prise en charge du Robot SI/Introduction
Nous fournissons un accompagnement cohérent depuis la sélection des robots IA jusqu'à leur introduction et leur fonctionnement.
Réalisations/études de cas
Nous publions des initiatives telles que l'apprentissage par imitation, la mise en œuvre de VLA et la téléprésence à distance/partage du corps.
NVIDIA GEAR Sonic × Unitree G1 : vérification du fonctionnement sur la machine réelle
Nous avons exécuté NVIDIA GEAR Sonic sur le Unitree G1 actuel et confirmé son fonctionnement. Voici une vidéo du processus de vérification.
Gemini 4 Argon × Unitree G1 : Démonstration de saisie autonome qui convertit la vision en action
À l'aide du Gemini 4 Argon, nous avons effectué un véritable test de machine dans lequel le Unitree G1 saisit et soulève une bouteille en plastique. Aucun mouvement codé en dur n’est utilisé ; L'IA convertit directement les informations visuelles de la caméra en actions.
Même si vous changez la position de l'objet et le replacez, l'IA comprendra visuellement la situation et générera un mouvement de préhension. Nous acceptons également la mise en œuvre d'IA/VLA physiques à l'aide de Unitree G1 et le développement sous contrat d'expériences PoC/de démonstration adaptées à l'entreprise cible.
Questions fréquemment posées
Quelle est la différence entre l’IA physique et la robotique ?
La robotique fait référence à la robotique en général, y compris les mécanismes, les commandes et les capteurs. L'IA physique est un terme qui met l'accent sur le rôle de l'IA dans la reconnaissance du monde réel et la détermination des actions. Les deux ne sont pas contradictoires ; L'IA physique est construite sur la robotique.
L’IA physique peut-elle être utilisée dans la pratique dès maintenant ?
Cela dépend du but. Bien qu'il reste encore de nombreuses questions à résoudre avant de remplacer complètement le travail humain, il peut être mis en pratique à ce stade dans des applications où « l'interaction avec les gens » en soi est précieuse, comme le service client, l'orientation et l'attraction de clients, ainsi que dans les opérations qui impliquent le contrôle à distance.
Pouvez-vous faire en sorte que les robots apprennent votre travail ?
Cela dépend du travail visé. Tout d’abord, organisez votre travail et voyez si vous pouvez obtenir des données de démonstration et définir des mesures d’évaluation. Il est prudent de commencer avec un PoC axé sur une seule tâche. Si vous nous faites part des travaux visés et de la situation actuelle, nous vous proposerons la marche à suivre.
De combien de données d’entraînement ai-je besoin ?
Il varie en fonction de la difficulté de la tâche, du degré de variation de l'environnement et du taux de réussite souhaité. Nous effectuons d’abord une collecte test, déterminons la quantité et les normes de qualité requises, puis procédons à la collecte proprement dite.
Par quel robot dois-je commencer ?
Pour la recherche et le développement, robot est facile à utiliser, car des modèles et des SDK compatibles avec le développement secondaire sont publiés. Nous suggérerons robot, qui est réellement utilisé en vérification, comme Unitree G1 et OpenShell. Vous pouvez également le louer et l'essayer avant de vous décider.
Consultation sur le développement de l’IA physique
Veuillez nous indiquer le robot cible, le travail que vous souhaitez accomplir et votre environnement de développement actuel. Vous pouvez nous consulter même lorsque les exigences et le choix technologique n’ont pas été décidés. Il est également possible de démarrer avec un PoC pour une tâche.
Consultez sur le développement de l’IA physique