Erzeugung humanoiden Verhaltens und Entwicklung einer Strategie für verstärktes Lernen anhand von Live-Action-VideosVon Live-Action-Videos menschlicher Bewegungen bis hin zu humanoiden Bewegungspaketen, die mit physikalischer Simulation evaluiert wurden.
Retargeting-Konvertierung in gemeinsame Flugbahndaten (NPZ/CSV) für Humanoide wie Unitree G1 und Unitree R1 basierend auf menschlichen Bewegungsvideos, die mit Smartphones und Kameras aufgenommen wurden, MuJoCo / Isaac Dies ist ein Entwicklungsdienst, der ein Paket für die tatsächliche Maschinenausführung (ONNX-Modell und Einstellungssatz) liefert, nachdem eine Ganzkörper-Tracking-Richtlinie mithilfe von Reinforcement Learning (PPO) mithilfe von Lab (mjlab) erlernt und Sicherheit und bewertet wurden Vervollständigung mittels physikalischer Closed-Loop-Simulation (Sim2Sim).
Informieren Sie sich anhand von Live-Action-Videos über die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkten Lernen
Beratungsinhalte und Ergebnisse
- Kompatibel Roboter
- Unitree G1 (23-29DoF usw.), Unitree R1 (26DoF) usw. (Zielkonfiguration/Controller-Version im Voraus festgelegt)
- Eingabebedingungen
- Video einer einzelnen Person, die den ganzen Körper und die Zehen zeigt (einschließlich Schritt-für-Schritt-Aktionen, ausgenommen Springen, Liegen auf dem Boden, kräftige Rotation usw.)
- Angebotsmenü
- ① Referenztrajektoriendatenkonvertierung (NPZ/CSV) ② Geschlossene physikalische Auswertung mit vorhandener Ganzkörpersteuerung ③ Bewegungsspezifisches PPO-Verstärkungslernen und ONNX-Bereitstellung ④ Tatsächliche maschinelle Verifizierung
- Gegenstände zur körperlichen Bewertung
- Quantitative Prüfung der Abschlussrate, des Vorhandenseins von Stürzen, des Flugbahnfolgefehlers, des Fußschlupfes, des Gelenkwinkels/der Geschwindigkeitsbegrenzung, der Selbstkollision und der Drehmomentsättigung
- Leistungen
- Normalisierte Bewegungsdaten (NPZ/CSV), ausgewertete ONNX/Kontrollpunkte, Beobachtung/Verhaltensspezifikationen/PD-Verstärkungseinstellungen, Auswertungsbericht
- Preis
- Schätzungen basieren auf der Länge und Anzahl der Videos, dem Umfang der physikalischen Simulationsauswertung, individuellem Verstärkungslernen und tatsächlichen Maschinentests
So gehen Sie vor
Wir fragen nach der aktuellen Situation, dem Ziel Roboter, den Standortbedingungen und dem gewünschten Zeitplan und beginnen dann mit der Arbeit, nachdem wir uns auf den Umsetzungsumfang und die Voraussetzungen geeinigt haben. Lieferumfang und Preise werden im individuellen Angebot festgelegt.
Eine 4-stufige Bewegungsgenerierungs-/physische Verifizierungspipeline, die Fehler aufgrund von „gerade konvertiertem JSON“ verhindert.
01 Videoqualitätsprüfung und hochpräzises Retargeting auf Roboterskelette
Schätzt die 3D-Körperhaltung, die Routenposition und den Bodenkontaktstatus des Menschen aus Live-Action-Videos und generiert eine normalisierte Vollbild-Flugbahn (NPZ/CSV), die der Verbindungslänge, der Gelenkreihenfolge und den Bewegungsbereichseinschränkungen des Ziels Roboter (G1/R1) entspricht.
02 Bewertung der physikalischen Simulation im geschlossenen Regelkreis unter Verwendung der Ganzkörper-Balance-Kontrolle (SONIC usw.)
Wenn nur die kinematische Posenumwandlung verwendet wird, kann das tatsächliche Flugzeug der Verschiebung des Schwerpunkts nicht standhalten und stürzt ab. Geben Sie die Referenzflugbahn in die Ganzkörperkontrollrichtlinie des Physiksimulators ein und überprüfen Sie die Stabilität gegenüber Reibungsschwankungen, Verzögerungen und Anfangshaltung.
03 Verhaltensspezifisches Verstärkungslernen (mjlab PPO) und ONNX-Richtlinienausgabe
PPO-Verstärkungslernen wird in der GPU-Umgebung von Yushima Lab (RTX A6000 48 GB usw.) für Gesten und sich wiederholende Bewegungen durchgeführt, die mit Allzweck-Tracking-Geräten allein nur schwer zu reproduzieren sind. Nur Prüfpunkte, die die Bewertungskriterien erfüllen, werden im ONNX-Format gepackt.
04 Hardware-Verifizierungsoption auf eigenen tatsächlichen Maschinen (G1/R1)
Auf Wunsch testen wir die Starthaltung, die Bewegungswiedergabe und die Rückkehr zum Stopp an einer tatsächlichen Maschine im EmplifAI-Labor und liefern das Produkt zusammen mit Aufnahmen des tatsächlichen Maschinenbetriebs und der sicheren Betriebsparameter.
NVIDIA GEAR Sonic × Unitree G1: Funktionsüberprüfung auf der tatsächlichen Maschine
Wir haben NVIDIA GEAR Sonic auf dem tatsächlichen Unitree G1 ausgeführt und dessen Funktionsfähigkeit bestätigt. Hier ist ein Video des Verifizierungsprozesses.
Gemini 4 Argon × Unitree G1: Autonome Greifdemonstration, die Visionen in Taten umsetzt
Mit Gemini 4 Argon haben wir einen tatsächlichen Maschinentest durchgeführt, bei dem der Unitree G1 eine Plastikflasche greift und anhebt. Es wird keine fest codierte Bewegung verwendet. KI wandelt die visuellen Informationen der Kamera direkt in Aktionen um.
Selbst wenn Sie die Position des Objekts ändern und es erneut platzieren, erkennt die KI die Situation visuell und generiert eine Greifbewegung. Wir akzeptieren auch die Implementierung physischer KI/VLA mit Unitree G1 und die Vertragsentwicklung von PoC-/Demonstrationsexperimenten, die auf das Zielunternehmen zugeschnitten sind.
Häufig gestellte Fragen
Was kann ich für die Entwicklung einer Lernstrategie zur Erzeugung/Verstärkung humanoiden Verhaltens anhand von Live-Action-Videos verlangen?
Retargeting-Konvertierung in gemeinsame Flugbahndaten (NPZ/CSV) für Humanoide wie Unitree G1 und Unitree R1 basierend auf menschlichen Bewegungsvideos, die mit Smartphones und Kameras aufgenommen wurden, MuJoCo / Isaac Dies ist ein Entwicklungsdienst, der ein Paket für die tatsächliche Maschinenausführung (ONNX-Modell und Einstellungssatz) liefert, nachdem eine Ganzkörper-Tracking-Richtlinie mithilfe von Reinforcement Learning (PPO) mithilfe von Lab (mjlab) erlernt und Sicherheit und bewertet wurden Vervollständigung mittels physikalischer Closed-Loop-Simulation (Sim2Sim). Der konkrete Arbeitsumfang wird vor Beginn der Arbeiten bestätigt und vereinbart, einschließlich Roboter, Standort und gewünschten Leistungen.
Wie werden die Kosten und der Leistungsumfang für die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkenden Lernen anhand von Live-Action-Videos ermittelt?
Wir bestätigen das Ziel Roboter, die Anzahl der Einheiten, den Implementierungsort und die erforderlichen Leistungen und erstellen eine individuelle Schätzung der Verfügbarkeit, des Arbeitsumfangs, der Fertigstellungsbedingungen und der Kosten.
Was ist der Unterschied zwischen kommerziell erhältlichen Videokonvertierungstools und günstigen Motion-APIs?
Allgemeine Videokonvertierungs-APIs geben nur „Zeitreihendaten von Gelenkwinkeln“ aus. Wenn Sie diese so wie sie sind an ein tatsächliches Gerät senden, fällt es aufgrund der Schwerkraft und des Abrutschens Ihrer Fußsohlen um. Der größte Unterschied zu EmplifAI besteht darin, dass es das Profil des Ziel-Roboter festlegt (gemeinsame Ordnung, PD-Verstärkung, Regelzyklus), eine physikalische Simulationsauswertung mit geschlossenem Regelkreis (Umkippen, Drehmomentsättigung, Selbstkollisionsprüfung) und PPO-Verstärkungslernen durchläuft und es als Steuerungspaket liefert, das auf einer tatsächlichen Maschine ausgeführt werden kann.
Kann jedes Video in humanoide Bewegung umgewandelt werden?
Nein. Sprünge, intensive Drehungen auf einem Bein, das Berühren des Bodens, Videos mit mehreren überlappenden Personen usw. können aufgrund körperlicher Einschränkungen nicht direkt wiedergegeben werden. Vor dem Start prüfen wir das Beispielvideo und einigen uns auf eine mögliche Reichweite inklusive Bedingungen für die Aufrechterhaltung des Bodenkontakts und die Geschwindigkeitsglättung.
Beratung zur Erzeugung humanoiden Verhaltens und zur Entwicklung von Strategien zum verstärkten Lernen anhand von Live-Action-Videos
Bitte teilen Sie uns das Ziel Roboter, den Standort, das Problem, das Sie lösen möchten, und den gewünschten Zeitpunkt mit. Wir informieren Sie gerne über die Umsetzungsdetails und einen Kostenvoranschlag.
Informieren Sie sich anhand von Live-Action-Videos über die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkten Lernen