توليد السلوك البشري وتطوير سياسة التعلم المعزز من مقاطع الفيديو الحيةبدءًا من مقاطع الفيديو الحية للحركات البشرية وحتى حزم الحركات البشرية التي تم تقييمها باستخدام المحاكاة الفيزيائية.
إعادة استهداف التحويل إلى بيانات المسار المشترك (NPZ/CSV) للكائنات البشرية مثل Unitree G1 وUnitree R1 استنادًا إلى مقاطع فيديو الحركة البشرية الملتقطة بالهواتف الذكية والكاميرات، MuJoCo / Isaac هي خدمة تطوير تقدم حزمة للتنفيذ الفعلي للآلة (نموذج ONNX ومجموعة الإعدادات) بعد تعلم سياسة تتبع الجسم بالكامل باستخدام التعلم المعزز (PPO) باستخدام Lab (mjlab) وتقييم السلامة و الانتهاء باستخدام المحاكاة الفيزيائية ذات الحلقة المغلقة (Sim2Sim).
استشارة حول توليد السلوك البشري وتطوير سياسة التعلم المعزز من مقاطع الفيديو الحية
محتوى الاستشارة والتسليمات
- متوافق مع الروبوت
- Unitree G1 (23-29DoF، وما إلى ذلك)، Unitree R1 (26DoF)، وما إلى ذلك (تم إصلاح إصدار التكوين المستهدف/وحدة التحكم مسبقًا)
- شروط الإدخال
- فيديو لشخص واحد يظهر الجسم بالكامل وأصابع قدميه (يتضمن حركات خطوة بخطوة باستثناء القفز، والاستلقاء على الأرض، والدوران القوي، وما إلى ذلك)
- قائمة العرض
- ① تحويل بيانات المسار المرجعي (NPZ/CSV) ② التقييم المادي للحلقة المغلقة مع وحدة التحكم الموجودة في الجسم بالكامل ③ التعلم المعزز لـ PPO الخاص بالحركة وتسليم ONNX ④ التحقق الفعلي من الماكينة
- بنود التقييم البدني
- الفحص الكمي لمعدل الإنجاز، وجود السقوط، المسار التالي للخطأ، انزلاق القدم، زاوية المفصل/حد السرعة، الاصطدام الذاتي، تشبع عزم الدوران
- التسليمات
- بيانات الحركة الطبيعية (NPZ/CSV)، تقييم ONNX/نقاط التفتيش، مواصفات المراقبة/السلوك/إعدادات كسب PD، تقرير التقييم
- السعر
- تستند التقديرات إلى طول مقاطع الفيديو وعددها، ونطاق تقييم المحاكاة المادية، والتعلم المعزز الفردي، واختبار الآلة الفعلي
كيفية المضي قدما
سوف نسأل عن الوضع الحالي والهدف الروبوت وشروط الموقع والتوقيت المرغوب وبعدها سنبدأ العمل بعد الاتفاق على نطاق التنفيذ والشروط المسبقة. سيتم تحديد التسليمات والأسعار في عرض الأسعار الفردي.
خط أنابيب لتوليد الحركة/التحقق المادي من 4 خطوات يمنع الفشل بسبب "تحويل JSON للتو"
01 فحص جودة الفيديو وإعادة الاستهداف بدقة عالية لهياكل الروبوت
يقوم بتقدير وضع الجسم البشري ثلاثي الأبعاد وموضع المسار وحالة الاتصال بالأرض من مقاطع الفيديو الحية، وينشئ مسارًا طبيعيًا كامل الإطار (NPZ/CSV) يطابق طول الارتباط وترتيب المفاصل ونطاق قيود الحركة للهدف الروبوت (G1/R1).
02 تقييم المحاكاة الفيزيائية ذات الحلقة المغلقة باستخدام التحكم في توازن الجسم بالكامل (SONIC، وما إلى ذلك)
إذا تم استخدام تحويل الوضعية الحركية فقط، فلن تتمكن الطائرة الفعلية من تحمل تحول مركز الجاذبية وستسقط. أدخل المسار المرجعي في سياسة التحكم في الجسم بالكامل على جهاز محاكاة الفيزياء وتحقق من الثبات ضد التقلبات في الاحتكاك والتأخير والوضعية الأولية.
03 التعلم المعزز للسلوك (mjlab PPO) ومخرجات سياسة ONNX
يتم تنفيذ التعلم المعزز لـ PPO في بيئة وحدة معالجة الرسومات (GPU) الخاصة بـ Yushima Lab (RTX A6000 48GB، وما إلى ذلك) للإيماءات والحركات المتكررة التي يصعب إعادة إنتاجها باستخدام أجهزة التتبع ذات الأغراض العامة وحدها. يتم تجميع نقاط التفتيش التي تجتاز معايير التقييم فقط بتنسيق ONNX.
04 خيار التحقق من الأجهزة على الأجهزة الفعلية المملوكة (G1/R1)
بناء على الطلب، سوف نقوم باختبار وضع البداية، وإعادة تشغيل الحركة، والعودة للتوقف على جهاز فعلي في مختبر EmplifAI، وتسليم المنتج مع لقطات تشغيل الماكينة الفعلية ومعلمات التشغيل الآمن.
NVIDIA GEAR Sonic × Unitree G1: التحقق من العملية على الجهاز الفعلي
قمنا بتشغيل NVIDIA GEAR Sonic على Unitree G1 الفعلي وأكدنا تشغيله. هنا فيديو لعملية التحقق.
Gemini 4 Argon × Unitree G1: عرض الإمساك المستقل الذي يحول الرؤية إلى عمل
باستخدام Gemini 4 Argon، أجرينا اختبارًا فعليًا للآلة حيث قام Unitree G1 بإمساك زجاجة بلاستيكية ورفعها. لا يتم استخدام أي حركة مشفرة؛ يقوم الذكاء الاصطناعي بتحويل المعلومات المرئية للكاميرا مباشرة إلى إجراءات.
حتى إذا قمت بتغيير موضع الكائن ووضعه مرة أخرى، فسوف يفهم الذكاء الاصطناعي الموقف بصريًا ويولد حركة استيعاب. نحن نقبل أيضًا تنفيذ الذكاء الاصطناعي/VLA المادي باستخدام Unitree G1 وتطوير العقود لتجارب إثبات المفهوم/العرض التوضيحي المصممة خصيصًا للأعمال المستهدفة.
الأسئلة المتداولة
ما الذي يمكنني طلبه لتطوير سياسة توليد السلوك البشري/تعزيز التعلم من مقاطع الفيديو الحية؟
إعادة استهداف التحويل إلى بيانات المسار المشترك (NPZ/CSV) للكائنات البشرية مثل Unitree G1 وUnitree R1 استنادًا إلى مقاطع فيديو الحركة البشرية الملتقطة بالهواتف الذكية والكاميرات، MuJoCo / Isaac هي خدمة تطوير تقدم حزمة للتنفيذ الفعلي للآلة (نموذج ONNX ومجموعة الإعدادات) بعد تعلم سياسة تتبع الجسم بالكامل باستخدام التعلم المعزز (PPO) باستخدام Lab (mjlab) وتقييم السلامة و الانتهاء باستخدام المحاكاة الفيزيائية ذات الحلقة المغلقة (Sim2Sim). سيتم تأكيد النطاق المحدد للعمل والاتفاق عليه قبل بدء العمل، بما في ذلك الروبوت والموقع والتسليمات المطلوبة.
كيف يتم تحديد تكاليف ونطاق التسليم لتوليد السلوك البشري وتطوير سياسة التعلم المعزز من مقاطع الفيديو الحية؟
سنؤكد الهدف الروبوت وعدد الوحدات وموقع التنفيذ والتسليمات المطلوبة، ونقدم تقديرًا فرديًا للتوفر ونطاق العمل وشروط الإنجاز والتكلفة.
ما الفرق بين أدوات تحويل الفيديو المتوفرة تجاريًا وواجهات برمجة تطبيقات الحركة الرخيصة؟
تقوم واجهات برمجة التطبيقات العامة لتحويل الفيديو بإخراج "بيانات السلاسل الزمنية للزوايا المشتركة" فقط، وإذا أرسلتها إلى جهاز فعلي كما هي، فسوف تسقط بسبب الجاذبية وانزلاق باطن قدميك. يتمثل الاختلاف الأكبر مع EmplifAI في أنه يعمل على إصلاح ملف تعريف الروبوت المستهدف (الأمر المشترك، وكسب PD، ودورة التحكم)، ويمر عبر تقييم المحاكاة الفيزيائية ذات الحلقة المغلقة (الانقلاب، وتشبع عزم الدوران، وفحص الاصطدام الذاتي) وتعلم تعزيز PPO، ويقدمه كحزمة تحكم يمكن تشغيلها على جهاز فعلي.
هل يمكن تحويل أي فيديو إلى حركة بشرية؟
لا. لا يمكن إعادة إنتاج القفزات، والدوران الشديد على ساق واحدة، ولمس الأرض، ومقاطع الفيديو التي يتداخل فيها عدة أشخاص، وما إلى ذلك بشكل مباشر بسبب القيود المادية. قبل البدء، نتحقق من عينة الفيديو ونتفق على النطاق المحتمل، بما في ذلك شروط الحفاظ على الاتصال بالأرض وتجانس السرعة.
استشارة حول توليد السلوك البشري وتطوير سياسة التعلم المعزز من مقاطع الفيديو الحية
يرجى إعلامنا بالهدف الروبوت والموقع والمشكلة التي تريد حلها والتوقيت المطلوب. وسنوافيكم بتفاصيل التنفيذ والتقدير.
استشارة حول توليد السلوك البشري وتطوير سياسة التعلم المعزز من مقاطع الفيديو الحية