Der experimentelle Code Unitree G1 × Gemini Argon wurde mit Apache-2.0 veröffentlicht
EmplifAI Co., Ltd. hat den experimentellen Code „G1/ARGON“ veröffentlicht, der Unitree G1 und Gemini Argon unter der Apache-2.0-Lizenz verbindet. Hierbei handelt es sich um ein öffentliches Experiment, bei dem die Verbindung zwischen dem LLM-Agenten und der tatsächlichen Maschinensteuerung zusammen mit Reproduktionsschritten, Einschränkungen und Videos geteilt wird.
Aktuelles Maschinenvideo: Flaschentransport im Stehen
Mit dem linken Arm des Unitree G1, der von einer Aufhängevorrichtung und der Inspire Hand unterstützt wurde, führten wir ein Experiment durch, bei dem wir eine Plastikflasche hoben und trugen, während wir sie aufrecht hielten. Ein Video der tatsächlichen Maschine können Sie im X-Beitrag des Vertreters Hiroyuki Osone sehen. Es ist kein Maßstab für die Erfolgsquote oder Reproduzierbarkeit in verschiedenen Umgebungen.
Englische Webkonsole, die Sie mit Ihrem eigenen API-Schlüssel ausprobieren können
Öffnen Sie Ihre lokale Web-App mit einem einzigen Python-Startbefehl, geben Sie Ihren Gemini-API-Schlüssel ein und probieren Sie die Bilderkennung und Planvorschläge aus. Die Bildbeobachtung ist ohne Roboter verfügbar und speichert keine API-Schlüssel in Dateien oder im Browserspeicher. Für die eigentliche Maschinensteuerung ist ein separates Hardware-Setup erforderlich.
Was wir erreicht haben und was wir als nächstes überprüfen werden
Die öffentliche Version der Web-App startet im Beobachtungsmodus. Für die reale Maschine haben wir einen kleinen Test für den linken Arm, der explizit konfiguriert und verifiziert wurde, und herkömmliche Greif-/Platzierungsmakros werden nicht über die öffentliche Konsole gestartet. Kamera-/Handkalibrierung, Griffbestimmung und Reproduzierbarkeitsbewertung unter verschiedenen Bedingungen sind anhaltende Probleme.
Wir verfügen über eine Adapterschnittstelle zum Hinzufügen von Anbietern und bieten derzeit eine Implementierung für Gemini an. Wir freuen uns über Beiträge zur Unterstützung anderer Agenten, Auswertungen anhand aufgezeichneter Bilder und Berichte über die Wiedergabe auf realen Geräten.
Als Open Source für kommerzielle Nutzung
Der Originalcode von EmplifAI ist in Apache-2.0 veröffentlicht und steht für die kommerzielle Nutzung zur Verfügung. Für externe SDKs, Roboter-Modelle und API-Dienste gelten entsprechende Bedingungen. Wir bitten darum, dass die Beiträge vom DCO unterzeichnet werden. Dieses Projekt ist eine unabhängige Leistung von EmplifAI und stellt keine Billigung oder Befürwortung durch Roboter oder den Modellanbieter dar.
GitHub: Quellcode, Startvorgang und aktuelles Beispiel anzeigen
Hiroyuki Osones X: Sehen Sie sich das aktuelle Video an
Wenn Sie Implementierungsunterstützung für tatsächliche Maschinen, die Entwicklung benutzerdefinierter Aufgaben oder eine gemeinsame Evaluierung in Betracht ziehen, kontaktieren Sie uns bitte mit dem Ziel Roboter und der Aufgabe.