VLA/ImitationslernentwicklungLassen Sie sie Bewegungen lernen, die nicht aus den Demonstrationen anderer Leute aufgeschrieben werden können.
Es ist schwierig, die Bewegungen in einem Programm aufzuschreiben, wenn sich die Form oder Position des Objekts jedes Mal ändert. Wir arbeiten an der Implementierung von Imitation Learning, das Bewegungen aus menschlichen Demonstrationen lernt, und VLA, das visuelles und sprachliches Verständnis mit der Bewegungsgenerierung verbindet.
Informieren Sie sich über VLA/Imitationslernen
Simulation des Fabrik-/Lagertransports
Unitree G1
Eine Physiksimulation in Isaac Sim verifizierte das Verhalten, eine 0,25 kg schwere Kiste in beiden Händen zu halten, etwa 1,2 m zu gehen und sie auf eine andere Plattform zu stellen. Dies ist kein Video der tatsächlichen Maschine.
RealMan RMC-AIDAL
Wir fassten den Griff eines hypothetischen Transportkoffers mit einer Körpergröße von 30 x 20 x 20 cm und einem Gesamtgewicht von 10 kg und überprüften den Vorgang, ihn auf Rädern etwa 1,2 m lang zu transportieren, auf einen Ständer zu stellen und ihn dann loszulassen. Hierbei handelt es sich um eine physikalische Simulation, die den Schwerpunkt und die Kontakteinstellungen des öffentlichen CAD-Modells korrigiert und nicht die Belastbarkeit der tatsächlichen Maschine garantiert.
RealMan RMC-AIDAL: 10 kg Koffertransport mit beiden Armen
Wir haben die Funktionsweise überprüft, indem wir einen hypothetischen Transportkoffer mit einer Körpergröße von 30 x 40 x 20 cm und einem Gesamtgewicht von 10 kg mit beiden Händen am linken und rechten Griff halten, ihn etwa 1,2 m weit transportieren und auf einen Ständer stellen. Während des Transports werden der Kontakt zwischen der linken und rechten Hand und die Lastverteilung aufgezeichnet. Hierbei handelt es sich um eine physikalische Simulation, die den Schwerpunkt und die Kontakteinstellungen des öffentlichen CAD-Modells korrigiert und nicht die Belastbarkeit der tatsächlichen Maschine garantiert.
Darüber hinaus können Sie sich von uns auch zu auf Ihr Unternehmen zugeschnittenen Simulationen und Demonstrationsexperimenten beraten lassen, beispielsweise zum Auffüllen von Regalen, zum Bereitstellen von Teilekisten und zum Sortieren.
Umgebung/Box 3D-Materialien: NVIDIA SimReady / codepawl/simready-glb · CC BY 4.0 · Wir passen die Materialkonvertierung, Abmessungen und Anzeigematerialien an.
Es gibt Aufgaben, die nicht mit einem Programm geschrieben werden können.
Wenn Sie ein festes Objekt in einer festen Position greifen möchten, ist es sicherer und schneller, die Bewegung aufzuschreiben. Es macht nur dann Sinn, das Lernen zur Sprache zu bringen, wenn Sie eine Aufgabe haben, die Sie nicht aufschreiben können.
Die Form jedes Objekts ist unterschiedlich, die Art und Weise, wie es platziert wird, ändert sich jedes Mal und es verformt sich wie eine Tasche oder ein Tuch. Diese Art von Arbeit kann keine bedingten Verzweigungen schreiben. Ein realistischerer Ansatz besteht darin, den Menschen zu zeigen, wie sie die Bewegungen ausführen, und sie die Bewegungen lernen zu lassen.
Andererseits ist Lernen keine Einheitslösung. Die erforderliche Datenmenge variiert je nach Schwierigkeitsgrad der Aufgabe und der gewünschten Erfolgsquote, und einige Teile können erst vollständig gelesen werden, wenn Sie sie sammeln. Unser Ansatz besteht darin, die Qualität durch eine Probesammlung zu ermitteln und dann mit der eigentlichen Sammlung fortzufahren.
Implementierungsbeispiel: Gemini 4 Argon × Unitree G1 (Umsetzung von Vision zu Verhalten)
Mit Gemini 4 Argon konnten wir erfolgreich verifizieren, dass der Unitree G1 eine Plastikflasche ohne fest programmierte Bewegungen greift und anhebt. KI wandelt die visuellen Informationen der Kamera direkt in Roboteraktionen um und generiert je nach Situation Greifbewegungen, auch wenn das Objekt immer wieder neu positioniert wird.
Wir werden die Generierung visueller Aktionen mithilfe dieses Basismodells/VLA und Nachahmungslernens basierend auf menschlichen Leistungsdaten entsprechend dem Ziel Roboter und den Arbeitsbedingungen vor Ort entwerfen und implementieren.
Bereich, der akzeptiert werden kann
Isolierung der Zielarbeit
Trennen Sie die Teile, die durch Lernen gelöst werden sollten, und die Teile, die sich schneller aufschreiben lassen. Sie müssen nicht alles lernen.
Demonstrationsdesign für die Datenerfassung
Was soll aufgezeichnet werden, aus welcher Perspektive und wie viel? Designzielarbeit, Roboter und Qualitätsstandards.
Demonstration per Fernbedienung
Die physischen Bewegungen des Bedieners werden auf den Roboter übertragen und Daten erfasst, während der Roboter an der realen Maschine arbeitet. Sie können gleichzeitig mit der Bedienung und der Abholung fortfahren.
Implementierung von Nachahmungslernen
Es lernt das Verhalten aus den gesammelten Daten und bewertet die Erfolgsquote. Implementiert basierend auf ROS 2/LeRobot.
VLA implementieren
Verbindung von visuellem und sprachlichem Verständnis mit der Generierung von Maßnahmen. Diese Struktur beinhaltet die Entscheidung über die nächste Aktion auf der Grundlage mündlicher Anweisungen und der Situation vor Ihnen.
Auswertung an realer Maschine
Wir messen die Erfolgsquote und Taktzeit am Zielstandort, anstatt Benchmarks zu verwenden. Legen Sie den Gültigkeitsbereich fest, indem Sie die Bedingungen ändern.
Daten sind die Grundlage von allem
Der Erfolg oder Misserfolg des Lernens wird durch die Daten vor dem Modell bestimmt. Es fehlt die Perspektive, es gibt keine Beispiele für Misserfolge und die Arbeitsbedingungen sind instabil. Selbst wenn Sie es anhand dieser Daten trainieren, funktioniert es im Feld nicht.
In unserem Unternehmen erfassen wir Daten von der tatsächlichen Ausrüstung, nachdem wir die Zielarbeit, Roboter, Sammlungsmenge und Qualitätsstandards entworfen haben. Wir haben auch eine Konfiguration, die es Ihnen ermöglicht, visuelle, Verhaltens-, Dialog- und nonverbale Informationen synchron aufzuzeichnen, während Sie tatsächlich aus der Ferne arbeiten.
Es ist möglich, nur die Sammlung von Daten zu betrauen oder sich nur über den Aufbau der Sammlungsumgebung zu beraten.
NVIDIA GEAR Sonic × Unitree G1: Funktionsüberprüfung auf der tatsächlichen Maschine
Wir haben NVIDIA GEAR Sonic auf dem tatsächlichen Unitree G1 ausgeführt und dessen Funktionsfähigkeit bestätigt. Hier ist ein Video des Verifizierungsprozesses.
Gemini 4 Argon × Unitree G1: Autonome Greifdemonstration, die Visionen in Taten umsetzt
Mit Gemini 4 Argon haben wir einen tatsächlichen Maschinentest durchgeführt, bei dem der Unitree G1 eine Plastikflasche greift und anhebt. Es wird keine fest codierte Bewegung verwendet. KI wandelt die visuellen Informationen der Kamera direkt in Aktionen um.
Selbst wenn Sie die Position des Objekts ändern und es erneut platzieren, erkennt die KI die Situation visuell und generiert eine Greifbewegung. Wir akzeptieren auch die Implementierung physischer KI/VLA mit Unitree G1 und die Vertragsentwicklung von PoC-/Demonstrationsexperimenten, die auf das Zielunternehmen zugeschnitten sind.
Häufig gestellte Fragen
Wie viele Trainingsdaten benötige ich?
Sie variiert je nach Schwierigkeitsgrad der Aufgabe, dem Grad der Variation in der Umgebung und der gewünschten Erfolgsquote. Wir führen zunächst eine Probesammlung durch, ermitteln die erforderlichen Mengen- und Qualitätsstandards und gehen dann zur Hauptsammlung über. Wir versprechen nicht von Anfang an den Gesamtbetrag.
Ich habe die Daten nicht, kann ich anfangen?
Ja. Wir kümmern uns um alles vom Kollektionsdesign. Wenn Sie über eine Konfiguration verfügen, bei der Sie die eigentliche Maschine während der Aufzeichnung fernsteuern, können Sie gleichzeitig mit dem Betrieb und der Datenerfassung fortfahren.
Welcher Roboter kann es umsetzen?
Wenn der Roboter mit ROS 2 oder RoboterSDK gesteuert werden kann, können wir Sie beraten. Mit der Sekundärentwicklung kompatible Modelle sind einfacher zu handhaben. Bitte teilen Sie uns das Ziel Roboter mit.
Was ist der Unterschied zwischen VLA und Nachahmungslernen?
Imitationslernen ist ein allgemeiner Begriff für Methoden zum Erlernen von Bewegungen aus menschlicher Leistung. VLA bezieht sich auf die Konfiguration eines Modells, das visuelles und sprachliches Verständnis mit der Aktionsgenerierung verbindet und sich dadurch unterscheidet, dass es verbale Anweisungen verarbeiten kann. Verwenden Sie sie je nach Zielarbeit.
VLA/Imitationslernberatung
Bitte teilen Sie uns das Zielwerk Roboter und den Status der Daten mit, die Sie derzeit haben. Wir legen gemeinsam mit Ihnen den zu lösenden Studienumfang fest.
Informieren Sie sich über VLA/Imitationslernen