EmplifAIBeratung zur Umsetzung
Video-to-Motion/Reinforcement Learning

Erzeugung humanoiden Verhaltens und Entwicklung einer Strategie für verstärktes Lernen anhand von Live-Action-VideosVon Live-Action-Videos menschlicher Bewegungen bis hin zu humanoiden Bewegungspaketen, die mit physikalischer Simulation evaluiert wurden.

Retargeting-Konvertierung in gemeinsame Flugbahndaten (NPZ/CSV) für Humanoide wie Unitree G1 und Unitree R1 basierend auf menschlichen Bewegungsvideos, die mit Smartphones und Kameras aufgenommen wurden, MuJoCo / Isaac Dies ist ein Entwicklungsdienst, der ein Paket für die tatsächliche Maschinenausführung (ONNX-Modell und Einstellungssatz) liefert, nachdem eine Ganzkörper-Tracking-Richtlinie mithilfe von Reinforcement Learning (PPO) mithilfe von Lab (mjlab) erlernt und Sicherheit und bewertet wurden Vervollständigung mittels physikalischer Closed-Loop-Simulation (Sim2Sim).

Video-to-Motion/Reinforcement LearningIndividuelles AngebotVereinbaren Sie vorab den Umfang
Informieren Sie sich anhand von Live-Action-Videos über die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkten Lernen
Unitree Überprüfung der Funktionsweise der Lernbewegung zur Ganzkörperverstärkung auf der tatsächlichen G1-Maschine
Unitree Überprüfung der Funktionsweise der Lernbewegung zur Ganzkörperverstärkung auf der tatsächlichen G1-Maschine
SCOPE

Beratungsinhalte und Ergebnisse

Kompatibel Roboter
Unitree G1 (23-29DoF usw.), Unitree R1 (26DoF) usw. (Zielkonfiguration/Controller-Version im Voraus festgelegt)
Eingabebedingungen
Video einer einzelnen Person, die den ganzen Körper und die Zehen zeigt (einschließlich Schritt-für-Schritt-Aktionen, ausgenommen Springen, Liegen auf dem Boden, kräftige Rotation usw.)
Angebotsmenü
① Referenztrajektoriendatenkonvertierung (NPZ/CSV) ② Geschlossene physikalische Auswertung mit vorhandener Ganzkörpersteuerung ③ Bewegungsspezifisches PPO-Verstärkungslernen und ONNX-Bereitstellung ④ Tatsächliche maschinelle Verifizierung
Gegenstände zur körperlichen Bewertung
Quantitative Prüfung der Abschlussrate, des Vorhandenseins von Stürzen, des Flugbahnfolgefehlers, des Fußschlupfes, des Gelenkwinkels/der Geschwindigkeitsbegrenzung, der Selbstkollision und der Drehmomentsättigung
Leistungen
Normalisierte Bewegungsdaten (NPZ/CSV), ausgewertete ONNX/Kontrollpunkte, Beobachtung/Verhaltensspezifikationen/PD-Verstärkungseinstellungen, Auswertungsbericht
Preis
Schätzungen basieren auf der Länge und Anzahl der Videos, dem Umfang der physikalischen Simulationsauswertung, individuellem Verstärkungslernen und tatsächlichen Maschinentests
PROCESS

So gehen Sie vor

Wir fragen nach der aktuellen Situation, dem Ziel Roboter, den Standortbedingungen und dem gewünschten Zeitplan und beginnen dann mit der Arbeit, nachdem wir uns auf den Umsetzungsumfang und die Voraussetzungen geeinigt haben. Lieferumfang und Preise werden im individuellen Angebot festgelegt.

MOTION PIPELINE

Eine 4-stufige Bewegungsgenerierungs-/physische Verifizierungspipeline, die Fehler aufgrund von „gerade konvertiertem JSON“ verhindert.

01

01 Videoqualitätsprüfung und hochpräzises Retargeting auf Roboterskelette

Schätzt die 3D-Körperhaltung, die Routenposition und den Bodenkontaktstatus des Menschen aus Live-Action-Videos und generiert eine normalisierte Vollbild-Flugbahn (NPZ/CSV), die der Verbindungslänge, der Gelenkreihenfolge und den Bewegungsbereichseinschränkungen des Ziels Roboter (G1/R1) entspricht.

02

02 Bewertung der physikalischen Simulation im geschlossenen Regelkreis unter Verwendung der Ganzkörper-Balance-Kontrolle (SONIC usw.)

Wenn nur die kinematische Posenumwandlung verwendet wird, kann das tatsächliche Flugzeug der Verschiebung des Schwerpunkts nicht standhalten und stürzt ab. Geben Sie die Referenzflugbahn in die Ganzkörperkontrollrichtlinie des Physiksimulators ein und überprüfen Sie die Stabilität gegenüber Reibungsschwankungen, Verzögerungen und Anfangshaltung.

03

03 Verhaltensspezifisches Verstärkungslernen (mjlab PPO) und ONNX-Richtlinienausgabe

PPO-Verstärkungslernen wird in der GPU-Umgebung von Yushima Lab (RTX A6000 48 GB usw.) für Gesten und sich wiederholende Bewegungen durchgeführt, die mit Allzweck-Tracking-Geräten allein nur schwer zu reproduzieren sind. Nur Prüfpunkte, die die Bewertungskriterien erfüllen, werden im ONNX-Format gepackt.

04

04 Hardware-Verifizierungsoption auf eigenen tatsächlichen Maschinen (G1/R1)

Auf Wunsch testen wir die Starthaltung, die Bewegungswiedergabe und die Rückkehr zum Stopp an einer tatsächlichen Maschine im EmplifAI-Labor und liefern das Produkt zusammen mit Aufnahmen des tatsächlichen Maschinenbetriebs und der sicheren Betriebsparameter.

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1: Funktionsüberprüfung auf der tatsächlichen Maschine

Wir haben NVIDIA GEAR Sonic auf dem tatsächlichen Unitree G1 ausgeführt und dessen Funktionsfähigkeit bestätigt. Hier ist ein Video des Verifizierungsprozesses.

NVIDIA GEAR Sonic × Unitree G1 – Funktionsüberprüfung auf dem tatsächlichen Gerät
GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1: Autonome Greifdemonstration, die Visionen in Taten umsetzt

Mit Gemini 4 Argon haben wir einen tatsächlichen Maschinentest durchgeführt, bei dem der Unitree G1 eine Plastikflasche greift und anhebt. Es wird keine fest codierte Bewegung verwendet. KI wandelt die visuellen Informationen der Kamera direkt in Aktionen um.

Selbst wenn Sie die Position des Objekts ändern und es erneut platzieren, erkennt die KI die Situation visuell und generiert eine Greifbewegung. Wir akzeptieren auch die Implementierung physischer KI/VLA mit Unitree G1 und die Vertragsentwicklung von PoC-/Demonstrationsexperimenten, die auf das Zielunternehmen zugeschnitten sind.

Gemini 4 Argon × Unitree G1 – Keine fest programmierten Bewegungen, KI setzt Vision in die Tat um, um eine Plastikflasche zu greifen (Foto aufgenommen in unserem eigenen Labor)
FAQ

Häufig gestellte Fragen

Was kann ich für die Entwicklung einer Lernstrategie zur Erzeugung/Verstärkung humanoiden Verhaltens anhand von Live-Action-Videos verlangen?

Retargeting-Konvertierung in gemeinsame Flugbahndaten (NPZ/CSV) für Humanoide wie Unitree G1 und Unitree R1 basierend auf menschlichen Bewegungsvideos, die mit Smartphones und Kameras aufgenommen wurden, MuJoCo / Isaac Dies ist ein Entwicklungsdienst, der ein Paket für die tatsächliche Maschinenausführung (ONNX-Modell und Einstellungssatz) liefert, nachdem eine Ganzkörper-Tracking-Richtlinie mithilfe von Reinforcement Learning (PPO) mithilfe von Lab (mjlab) erlernt und Sicherheit und bewertet wurden Vervollständigung mittels physikalischer Closed-Loop-Simulation (Sim2Sim). Der konkrete Arbeitsumfang wird vor Beginn der Arbeiten bestätigt und vereinbart, einschließlich Roboter, Standort und gewünschten Leistungen.

Wie werden die Kosten und der Leistungsumfang für die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkenden Lernen anhand von Live-Action-Videos ermittelt?

Wir bestätigen das Ziel Roboter, die Anzahl der Einheiten, den Implementierungsort und die erforderlichen Leistungen und erstellen eine individuelle Schätzung der Verfügbarkeit, des Arbeitsumfangs, der Fertigstellungsbedingungen und der Kosten.

Was ist der Unterschied zwischen kommerziell erhältlichen Videokonvertierungstools und günstigen Motion-APIs?

Allgemeine Videokonvertierungs-APIs geben nur „Zeitreihendaten von Gelenkwinkeln“ aus. Wenn Sie diese so wie sie sind an ein tatsächliches Gerät senden, fällt es aufgrund der Schwerkraft und des Abrutschens Ihrer Fußsohlen um. Der größte Unterschied zu EmplifAI besteht darin, dass es das Profil des Ziel-Roboter festlegt (gemeinsame Ordnung, PD-Verstärkung, Regelzyklus), eine physikalische Simulationsauswertung mit geschlossenem Regelkreis (Umkippen, Drehmomentsättigung, Selbstkollisionsprüfung) und PPO-Verstärkungslernen durchläuft und es als Steuerungspaket liefert, das auf einer tatsächlichen Maschine ausgeführt werden kann.

Kann jedes Video in humanoide Bewegung umgewandelt werden?

Nein. Sprünge, intensive Drehungen auf einem Bein, das Berühren des Bodens, Videos mit mehreren überlappenden Personen usw. können aufgrund körperlicher Einschränkungen nicht direkt wiedergegeben werden. Vor dem Start prüfen wir das Beispielvideo und einigen uns auf eine mögliche Reichweite inklusive Bedingungen für die Aufrechterhaltung des Bodenkontakts und die Geschwindigkeitsglättung.

CONTACT

Beratung zur Erzeugung humanoiden Verhaltens und zur Entwicklung von Strategien zum verstärkten Lernen anhand von Live-Action-Videos

Bitte teilen Sie uns das Ziel Roboter, den Standort, das Problem, das Sie lösen möchten, und den gewünschten Zeitpunkt mit. Wir informieren Sie gerne über die Umsetzungsdetails und einen Kostenvoranschlag.

Informieren Sie sich anhand von Live-Action-Videos über die Entwicklung humanoiden Verhaltens und die Entwicklung von Strategien zum verstärkten Lernen

CONTACT

Kontaktieren Sie uns

Für Anfragen zu unseren Dienstleistungen können Sie uns gerne hier kontaktieren.

Was für eine Beratung haben Sie?Erforderlich