Was ist physische KI?KI mit einem physischen Körper beginnt in der realen Welt zu funktionieren.
Physische KI ist ein Bereich der KI, der die reale Welt erkennt und durch Bewegung des Körpers funktioniert. Im Gegensatz zur KI, die Texte und Bilder auf einem Bildschirm generiert, muss sie Ergebnisse in der Realität liefern, die den Gesetzen der Physik und der Unsicherheit unterliegt. EmplifAI arbeitet an der gesellschaftlichen Umsetzung in diesem Bereich durch die Entwicklung unseres eigenen Humanoiden OpenShell.
Informieren Sie sich über die physische KI-Entwicklung
Simulation des Fabrik-/Lagertransports
Unitree G1
Eine Physiksimulation in Isaac Sim verifizierte das Verhalten, eine 0,25 kg schwere Kiste in beiden Händen zu halten, etwa 1,2 m zu gehen und sie auf eine andere Plattform zu stellen. Dies ist kein Video der tatsächlichen Maschine.
RealMan RMC-AIDAL
Wir fassten den Griff eines hypothetischen Transportkoffers mit einer Körpergröße von 30 x 20 x 20 cm und einem Gesamtgewicht von 10 kg und überprüften den Vorgang, ihn auf Rädern etwa 1,2 m lang zu transportieren, auf einen Ständer zu stellen und ihn dann loszulassen. Hierbei handelt es sich um eine physikalische Simulation, die den Schwerpunkt und die Kontakteinstellungen des öffentlichen CAD-Modells korrigiert und nicht die Belastbarkeit der tatsächlichen Maschine garantiert.
RealMan RMC-AIDAL: 10 kg Koffertransport mit beiden Armen
Wir haben die Funktionsweise überprüft, indem wir einen hypothetischen Transportkoffer mit einer Körpergröße von 30 x 40 x 20 cm und einem Gesamtgewicht von 10 kg mit beiden Händen am linken und rechten Griff halten, ihn etwa 1,2 m weit transportieren und auf einen Ständer stellen. Während des Transports werden der Kontakt zwischen der linken und rechten Hand und die Lastverteilung aufgezeichnet. Hierbei handelt es sich um eine physikalische Simulation, die den Schwerpunkt und die Kontakteinstellungen des öffentlichen CAD-Modells korrigiert und nicht die Belastbarkeit der tatsächlichen Maschine garantiert.
Darüber hinaus können Sie sich von uns auch zu auf Ihr Unternehmen zugeschnittenen Simulationen und Demonstrationsexperimenten beraten lassen, beispielsweise zum Auffüllen von Regalen, zum Bereitstellen von Teilekisten und zum Sortieren.
Umgebung/Box 3D-Materialien: NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Wir passen die Materialkonvertierung, Abmessungen und Anzeigematerialien an.
3D-Digitaler Zwilling mit 10,8 Millionen Messpunkten, der im Browser um 360° verschoben werden kann
Hierbei handelt es sich um tatsächliche Daten, die beim Gehen im Roboterentwicklungslabor von EmplifAI (Unitree G1-Humanoid-/Doppelarmroboter-Installationsumgebung) mit unserem eigenen XGRIDS Lixel K2 für nur 89 Sekunden gemessen wurden. Neben der Möglichkeit, durch Ziehen oder Wischen mit der Maus um 360° zu drehen und zu zoomen, können Sie auch den Wechsel zwischen vier Anzeigemodi, Deckenschnitt (Querschnitt) und Blickpunktsprung zur Roboterinstallationsstelle vor Ort erleben.
Was kann mit XGRIDS 3D-Geodaten × physischer KI gemacht werden?
Der größte Nutzen des 3D-Scannens eines Standorts besteht nicht nur darin, Zeichnungen für die menschliche Betrachtung zu erstellen. Durch die Kombination von 3D-Raumdaten auf Millimeterebene mit den humanoiden Robotern (Unitree G1 usw.), den zweiarmigen Manipulatoren (OpenArm), den VLA-Modellen und der NVIDIA Isaac Sim-Umgebung von EmplifAI wird sich alles von der Vordiagnose für die Robotereinführung bis hin zum virtuellen Training, autonomen Bewegungen und Fernsteuerung dramatisch verändern.
Digitalisieren Sie den realen Raum in 89 Sekunden und erstellen Sie eine virtuelle Verifizierungsumgebung, in der sich humanoide und zweiarmige Roboter bewegen
Selbst in Fabriken, Lagerhäusern und Forschungseinrichtungen, in denen keine Zeichnungen vorhanden sind, können Sie mit XGRIDS Lixel K2 einfach 3D-Punktwolken und Live-Action-Texturen des gesamten Raums erhalten, indem Sie herumlaufen. In den tatsächlichen Messdaten des EmplifAI-Labors wurde der gesamte Raum (68,3 m2, 10,8 Millionen Punkte), einschließlich des Humanoiden am Fenster (Unitree G1) und der zweiarmigen Roboter-Arbeitszelle in der Mitte, in nur 89 Sekunden in räumliche Daten umgewandelt. Durch den Import des erfassten Raums in die NVIDIA Isaac Sim- oder ROS 2-Umgebung können Sie Simulationen (Real2Sim2Real) von Laufrouten, Ganzkörperkontrolle und Greifbewegungen durchführen, bevor Sie die tatsächliche Maschine zum Einsatzort bringen.
Was kann mit dieser Kombination erreicht werden?
- Erstellen Sie einen virtuellen 3D-Raum in Originalgröße, in dem Humanoide und AMRs laufen und arbeiten, indem Sie einfach auf dem Gelände herumlaufen.
- Kollisionserkennungsmodell und Navigationskartenkonvertierungskooperation für NVIDIA Isaac Sim, USD und ROS 2
- Umgebungsgenerierung für Roboter-Verstärkungslernen und Nachahmungslernen, die die Vorrichtungen, Werkbänke und Hindernisse vor Ort direkt widerspiegelt
Sehen Sie sich das Video an: Von einer 89-sekündigen Komplettlösung zur Erstellung eines 3D-Raums mit 10,8 Millionen Punkten
Sie können zwischen dem multimodalen 360°-Analysevideo des tatsächlich mit XGRIDS Lixel K2 gemessenen Laborraums und dem durch Laserscanning erstellten räumlichen Aufbauvideo mit 10,8 Millionen Punkten wechseln.
360°-Drehung × 3 Modi kontinuierlicher Wechsel (Vollfarb-RGB → Cyber-Elevation → LiDAR-Röntgen)
Hierbei handelt es sich um ein Showcase-Video, das 10,8 Millionen Punkte 3D-Geodaten, die aus einem einzigen Laufscan (89 Sekunden) generiert wurden, dreht und in einer 360°-Drehung anzeigt, während nahtlos zwischen drei Modi gewechselt wird: Live-Action-Vollfarb-RGB, Cyber-Höhenhologramm nach Höhe und Röntgenperspektive basierend auf der Intensität der Laserreflexion.
„Räumliche 4K-Analyse/Zeichnung/Inspektionsvisualisierung“, die aus mehreren Blickwinkeln aus einem einzigen Scan entwickelt werden kann
Von den erfassten hochdichten 3D-Daten bis hin zu vollfarbigen Punktwolken, Höhenhologrammen, 1-m-Gitter-Architektur-Orthodiagrammen, CAD-Grundrissen mit automatischen Bemaßungen, Millimeter-Heatmaps von Bodenunebenheiten und Wandvertikalitäten sowie der Überprüfung des Roboterlieferabstands können Sie Analyseansichten entwickeln, die Ihrem Zweck entsprechen. Klicken Sie auf die Miniaturansicht, um zu wechseln, und klicken Sie auf das Bild, um es in hoher Auflösung zu vergrößern.
Click to enlarge 4K high-definition image4-teiliges Schaufenster für multimodale 3D-Raumanalysen
Aus den einzelnen Scandaten können vier Modi gleichzeitig entwickelt werden: (1) Vollfarb-RGB-Punktwolke, (2) Höhen-Wärmekartenperspektive, (3) 1-m-Gitter-Architektur-Orthoplan und (4) Querschnittsprofil. Sie können das Erscheinungsbild, die Abmessungen und die Struktur des Raums auf einen Blick verstehen.
Bedeutung von physischer KI
Physische KI ist ein Begriff, der sich auf KI bezieht, die die reale Welt erkennt, Entscheidungen trifft und durch den Körper arbeitet. Es erfasst seine Umgebung mit Kameras und Abstandssensoren, entscheidet über die nächsten Schritte und bewegt seine Arme, Räder und Beine, um auf Objekte und Menschen einzuwirken. Es ist möglicherweise einfacher zu verstehen, wenn Sie es in „KI mit Körper“ umformulieren.
Der Grund dafür, dass es in den letzten Jahren schnell an Aufmerksamkeit gewonnen hat, liegt darin, dass großformatige Modelle jetzt auf die Robotersteuerung angewendet werden können. Bisher mussten Roboterbewegungen für jede Aufgabe detailliert von Menschen programmiert werden. In der physischen KI wird es immer realistischer, Handlungen zu erlernen, indem man Menschen zeigt, was sie tun, oder aus verbalen Anweisungen Aktionen zu generieren.
Allerdings ist dieser Bereich nicht so einfach wie die generative KI. Wenn Sie Sätze generieren, können Sie diese einfach umschreiben, auch wenn Sie eine seltsame Ausgabe erhalten. Der echte Körper kann nicht wiederhergestellt werden. Es kann zerbrechen, wenn Sie etwas darauf fallen lassen, und es kann gefährlich sein, wenn Sie jemanden treffen. Die Schwierigkeit bei der physischen KI besteht darin, sicherzustellen, dass sie in dieser „irreversiblen“ Situation funktioniert.
Unterschiede zur Generation KI
Selbst bei gleicher KI unterscheiden sich die benötigten Technologien und Auswertungsmethoden je nach Ziel.
Das zu behandelnde Objekt ist die Realität.
Der Input und Output der Generation AI sind Daten. Das Ergebnis physischer KI ist physische Bewegung, die von Bedingungen wie Reibung, Gewicht, Durchbiegung und Schlupf abhängt. Die gleichen Anweisungen führen nicht jedes Mal zu den gleichen Ergebnissen.
Die Kosten eines Scheiterns sind hoch
Sie können den Text umschreiben, aber Sie können nicht zurückbekommen, was Sie verloren haben. Die Gewährleistung von Sicherheit und Reproduzierbarkeit ist genauso wichtig, wenn nicht sogar wichtiger als die Leistung.
Nicht genügend Trainingsdaten
Anders als bei der großen Menge an Texten und Bildern, die im Internet verfügbar sind, haben Sie keine andere Wahl, als die Bewegungsdaten des Roboters selbst zu sammeln. Die Datenerfassung selbst ist ein großer Teil der Entwicklung.
Keine Verzögerungen erlaubt
Die Steuerung hat einen festen Zyklus. Bei verzögerter Reaktion kollabiert die Haltung und die Bewegung scheitert. Das Ausbalancieren des Rechenaufwands und der Reaktionsgeschwindigkeit ist eine Designbeschränkung.
Die Bewertung hängt vom Fachgebiet ab
Die Erfolgsquote im tatsächlichen Bereich ist aussagekräftiger als die Benchmark-Zahlen. Wenn sich die Umgebung ändert, beispielsweise die Beleuchtung, die Bodenoberflächen und die Bewegungen der Menschen, ändern sich auch die Ergebnisse.
Untrennbar mit dem Design des Körpers verbunden
Was Sie lernen können, hängt davon ab, welche Art von Hand Sie verwenden und wie viele Freiheitsgrade Sie haben. Software kann nicht isoliert entwickelt werden.
Technologie zur Unterstützung physischer KI
Dies ist die elementare Technologie, an der EmplifAI tatsächlich arbeitet.
- Nachahmungslernen
- Eine Methode zum Erlernen von Roboterbewegungen anhand der Demonstration von Aufgaben, die von Menschen ausgeführt werden. Anstatt die Bewegungen in einem Programm aufzuschreiben, bringen wir sie durch Demonstration bei.
- VLA（Vision-Language-Action）
- Ein Modell, das visuelles und sprachliches Verständnis mit der Generierung von Handlungen verbindet. Entscheiden Sie die nächste Aktion basierend auf mündlichen Anweisungen und der Situation vor Ihnen.
- Sim2Real
- Eine Methode zur Übertragung der durch Simulation erlernten und verifizierten Steuerung auf die tatsächliche Maschine. Es ist ein Design erforderlich, das Unterschiede wie Reibung, Masse, Sensorfehler und Kommunikationsverzögerung berücksichtigt.
- Fernbedienung/Telepräsenz
- Technologie, die die physischen Bewegungen und Absichten eines Bedieners in Echtzeit auf einen Roboter überträgt. Es kann sowohl für den eigentlichen Betrieb vor der Automatisierung als auch zur Erfassung von Lerndaten eingesetzt werden.
- Sammlung von Trainingsdaten
- Der Prozess der Gestaltung der Zielarbeit, Roboter, der Sammelmenge und der Qualitätsstandards sowie der Datenerfassung mithilfe der tatsächlichen Maschine. Dies wird die Grundlage für die physische KI-Entwicklung sein.
- ROS 2 / LeRobot
- Eine Grundlage zur Implementierung der Robotersteuerung und des Roboterlernens. Design inklusive Anbindung an bestehendes RoboterSDK.
Anwendung auf Humanoide
Humanoide erregen als potenzielle Quelle physischer KI Aufmerksamkeit. Der Grund ist einfach: Sie können die für Menschen geschaffene Umgebung unverändert nutzen. Der Unterschied zu dedizierten Maschinen besteht darin, dass sie zum Einsatzort gebracht werden können, ohne dass neue dedizierte Geräte installiert werden müssen.
OpenShell, entwickelt von EmplifAI, ist ein 28-Achsen-Humanoid, der einen ausdrucksstarken Kopf, zwei Arme und einen Wagen kombiniert. Ich habe diese Konfiguration gewählt, um sowohl die Arbeitsfähigkeit als auch den Umgang mit Menschen gleichzeitig zu untersuchen. Ein Gesicht erleichtert es den Menschen, mit Ihnen zu sprechen, und vermittelt Ihre Absichten. Obwohl dies nicht in der Leistungstabelle erscheint, ist es am Arbeitsplatz, an dem Menschen anwesend sind, auf jeden Fall effektiv.
Bei der Umsetzung ist es realistischer, mit der Fernsteuerung zu beginnen und den Umfang der Automatisierung schrittweise zu erweitern, als von Anfang an eine vollständige Automatisierung anzustreben. Während der Standort aus der Ferne betrieben wird, werden Lerndaten gesammelt, und diese Daten werden zum Material für die Automatisierung.
Unterstützung für die physische KI-Entwicklung
OpenShell
Ein selbst entwickelter Humanoid. Die Spezifikationen als Forschungs- und Entwicklungsplattform werden aufgeführt.
Sim2Real-Entwicklungsunterstützung
Entwicklungsunterstützung von der Simulation bis zur tatsächlichen Geräteverifizierung mit NVIDIA Isaac Sim/Isaac Lab.
Vertrag zur Erfassung von Roboterlerndaten
Wir übernehmen die Erfassung der Daten, die für das Nachahmungslernen und die Betriebsüberprüfung erforderlich sind, vom Zustandsentwurf bis zur Lieferung.
Datenerfassungskit zum Lernen von Robotern
Wir schlagen die Konfiguration der Datenerfassungsumgebung vor, einschließlich Fernsteuerungsgeräten, Kameras und Aufzeichnungs-PCs.
Unterstützung für Roboter-SI/Einführung
Wir unterstützen Sie durchgängig von der Auswahl der KI-Roboter bis hin zu deren Einführung und Betrieb.
Erfolge/Fallstudien
Wir veröffentlichen Initiativen wie Nachahmungslernen, VLA-Implementierung und Remote-/Body-Sharing-Telepräsenz.
NVIDIA GEAR Sonic × Unitree G1: Funktionsüberprüfung auf der tatsächlichen Maschine
Wir haben NVIDIA GEAR Sonic auf dem tatsächlichen Unitree G1 ausgeführt und dessen Funktionsfähigkeit bestätigt. Hier ist ein Video des Verifizierungsprozesses.
Gemini 4 Argon × Unitree G1: Autonome Greifdemonstration, die Visionen in Taten umsetzt
Mit Gemini 4 Argon haben wir einen tatsächlichen Maschinentest durchgeführt, bei dem der Unitree G1 eine Plastikflasche greift und anhebt. Es wird keine fest codierte Bewegung verwendet. KI wandelt die visuellen Informationen der Kamera direkt in Aktionen um.
Selbst wenn Sie die Position des Objekts ändern und es erneut platzieren, erkennt die KI die Situation visuell und generiert eine Greifbewegung. Wir akzeptieren auch die Implementierung physischer KI/VLA mit Unitree G1 und die Vertragsentwicklung von PoC-/Demonstrationsexperimenten, die auf das Zielunternehmen zugeschnitten sind.
Häufig gestellte Fragen
Was ist der Unterschied zwischen physischer KI und Robotik?
Unter Robotik versteht man die Robotik im Allgemeinen, einschließlich Mechanismen, Steuerungen und Sensoren. Physische KI ist ein Begriff, der die Rolle der KI bei der Erkennung der realen Welt und der Bestimmung von Handlungen hervorhebt. Die beiden widersprechen sich nicht; Die physische KI basiert auf Robotik.
Kann physische KI bereits jetzt in der Praxis eingesetzt werden?
Es kommt auf den Zweck an. Obwohl es noch viele Probleme zu lösen gibt, bevor die menschliche Arbeit vollständig ersetzt wird, kann es an diesem Punkt in Anwendungen praktisch eingesetzt werden, bei denen die „Interaktion mit Menschen“ an sich wertvoll ist, wie zum Beispiel Kundenservice, Beratung und Kundengewinnung sowie bei Vorgängen, die eine Fernsteuerung erfordern.
Können Sie Roboter Ihre Arbeit erlernen lassen?
Es kommt auf die Zielarbeit an. Organisieren Sie zunächst Ihre Arbeit und prüfen Sie, ob Sie Demonstrationsdaten erhalten und Bewertungsmetriken definieren können. Es ist sicher, mit einem PoC zu beginnen, der sich auf eine Aufgabe konzentriert. Wenn Sie uns die Zielarbeit und die aktuelle Situation mitteilen, schlagen wir Ihnen das weitere Vorgehen vor.
Wie viele Trainingsdaten benötige ich?
Sie variiert je nach Schwierigkeitsgrad der Aufgabe, Grad der Variation in der Umgebung und der gewünschten Erfolgsquote. Wir führen zunächst eine Probesammlung durch, ermitteln die erforderlichen Mengen- und Qualitätsstandards und gehen dann zur Hauptsammlung über.
Mit welchem Roboter soll ich beginnen?
Für Forschung und Entwicklung ist Roboter einfach zu verwenden, da Modelle und SDKs veröffentlicht werden, die mit der Sekundärentwicklung kompatibel sind. Wir empfehlen Roboter, das tatsächlich bei der Verifizierung verwendet wird, wie z. B. Unitree G1 und OpenShell. Sie können es auch mieten und ausprobieren, bevor Sie sich entscheiden.
Beratung zur physischen KI-Entwicklung
Bitte teilen Sie uns den Zielroboter, die Arbeit, die Sie ausführen möchten, und Ihre aktuelle Entwicklungsumgebung mit. Sie können sich auch dann an uns wenden, wenn Anforderungen und Technologieauswahl noch nicht entschieden sind. Es ist auch möglich, mit einem PoC für eine Aufgabe zu beginnen.
Informieren Sie sich über die physische KI-Entwicklung