실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발사람의 움직임을 촬영한 실사 동영상으로부터, 물리 시뮬레이션 평가 끝난 휴머노이드 동작 패키지에.
스마트폰이나 카메라로 촬영한 인간의 동작 동영상을 바탕으로 Unitree G1·Unitree R1 등의 휴머노이드용 관절 궤도 데이터(NPZ/CSV)로의 리타겟팅 변환, MuJoCo/Isaac Lab(mjlab)를 이용한 강화 학습(PPO)에 의한 전신 추종 정책의 학습, 및 폐루프 물리 시뮬레이션에서의 안전성·완주 평가(Sim2Sim)를 거쳐 실기 실행용 패키지(ONNX 모델·설정 일식)를 납품하는 개발 서비스입니다.
실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발에 대해 상담한다
상담 내용과 성과물
- 대응 로봇
- Unitree G1(23~29DoF 등), Unitree R1(26DoF) 외(대상 구성·컨트롤러판을 사전 고정)
- 입력 조건
- 전신과 발끝이 비친 단독 인물의 동영상(도약·바닥침전·격렬한 회전 등을 제외한 동작으로부터 단계적으로 대응)
- 제공 메뉴
- ①참조 궤도 데이터 변환(NPZ/CSV) ②기존 전신 제어기에서의 폐루프 물리 평가 ③동작 전용 PPO 강화 학습＆ONNX납품 ④실기 검증
- 물리 평가 항목
- 완주율, 전도 유무, 궤도 추종 오차, 발 미끄럼, 관절 각도·속도 제한, 자기 충돌, 토크 포화의 정량 검사
- 납품물
- 정규화 모션 데이터(NPZ/CSV), 평가 완료 ONNX/체크포인트, 관측·행동 사양·PD 게인 설정, 평가 리포트
- 가격
- 동영상 척·개수, 물리 시뮬레이션 평가·개별 강화 학습·실기 테스트의 범위에 따라 견적
진행 방식
현상, 대상 기체, 현장의 조건, 희망 시기를 묻고, 실시 범위와 전제 조건을 합의하고 나서 착수합니다. 아티팩트와 가격은 개별 견적에 명시됩니다.
「변환했을 뿐의 JSON」으로 전도시키지 않는, 4단계의 동작 생성·물리 검증 파이프라인
01 동영상 품질 검사 및 로봇 골격에 대한 고정밀 리타게팅
실사 동영상으로부터 3D 인체 자세와 루트 위치·접지 상태를 추정해, 대상 로봇(G1/R1)의 링크 길이·관절 순서·가동역 제약에 맞춘 전체 프레임 정규화 궤도(NPZ/CSV)를 생성합니다.
02 전신 밸런스 제어(SONIC 등)에 의한 폐루프 물리 시뮬레이션 평가
운동학적인 포즈 변환만으로는 실기는 무게 중심 이동에 견디지 못하고 넘어집니다. 물리 시뮬레이터에서 전신 제어 정책에 참조 궤도를 입력하여 마찰, 지연, 초기 자세의 변동에 대한 안정성을 검증합니다.
03 동작 특화 강화 학습(mjlab PPO)과 ONNX 정책 출력
범용 추종기만으로는 재현이 어려운 제스처나 반복 동작에 대해, 유시마 랩의 GPU 환경(RTX A6000 48GB등)에서 PPO 강화 학습을 실행. 평가 기준을 통과한 체크포인트만 ONNX 형식으로 패키징합니다.
04 보유실기(G1/R1)에서의 하드웨어 검증 옵션
희망에 따라 EmplifAI 실험실의 실기상에서 개시 자세·동작 재생·정지 복귀까지를 테스트해, 실기 가동 영상과 안전 운용 파라미터를 더해 납품합니다.
NVIDIA GEAR Sonic × Unitree G1: 실제 로봇에서의 동작 검증
Unitree G1 실제 로봇에서 NVIDIA GEAR Sonic을 실행하고 동작을 확인했습니다. 영상을 통해 검증 과정을 소개합니다.
Gemini 4 Argon × Unitree G1: 시각에서 행동으로 변환하는 자율 파지 데모
Gemini 4 Argon를 사용하여 Unitree G1이 페트병을 잡고 들어 올리는 실기 검증을 실시했습니다. 하드코드된 모션은 일절 사용하지 않고, AI가 카메라의 시각 정보를 그대로 행동으로 변환하고 있습니다.
대상물의 위치를 바꾸어 다시 놓아도 AI가 시각에서 상황을 이해하여 파지 동작을 생성합니다. Unitree G1을 이용한 피지컬 AI·VLA의 실장이나, 대상 업무에 맞춘 PoC·실증 실험의 수탁 개발도 받고 있습니다.
자주 묻는 질문
실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발에서는 무엇을 의뢰할 수 있습니까?
스마트폰이나 카메라로 촬영한 인간의 동작 동영상을 바탕으로 Unitree G1·Unitree R1 등의 휴머노이드용 관절 궤도 데이터(NPZ/CSV)로의 리타겟팅 변환, MuJoCo/Isaac Lab(mjlab)를 이용한 강화 학습(PPO)에 의한 전신 추종 정책의 학습, 및 폐루프 물리 시뮬레이션에서의 안전성·완주 평가(Sim2Sim)를 거쳐 실기 실행용 패키지(ONNX 모델·설정 일식)를 납품하는 개발 서비스입니다. 구체적인 대상 범위는, 로봇·현장·희망의 성과물을 확인해 착수전에 합의합니다.
실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발의 비용과 납품 범위는 어떻게 결정됩니까?
대상 기체·대수·실시 장소·필요한 성과물을 확인해, 대응 여부, 작업 범위, 완료 조건, 비용을 개별 견적으로 제시합니다.
상업적인 동영상 변환 도구와 저렴한 모션 API와의 차이점은 무엇입니까?
일반적인 동영상 변환 API가 출력하는 것은 「관절 각도의 시계열 데이터」뿐이며, 그대로 실기에 흘리면 중력이나 발바닥의 미끄러짐으로 전도합니다. EmplifAI에서는 대상 로봇의 프로파일(관절순, PD 게인, 제어 주기)을 고정한 후, 폐루프의 물리 시뮬레이션 평가(전도, 토크 포화, 자기 충돌 검사)와 PPO 강화 학습까지 통과해 실기에서 움직일 수 있는 제어 패키지로 납품할 수 있는 점이 최대의 차이입니다.
어떤 동영상을 휴머노이드 동작으로 변환할 수 있습니까?
아니. 점프, 한발로의 격렬한 스핀, 바닥에 손을 잡는 동작, 여러 사람이 겹치는 동영상 등은 물리적인 제약으로부터 그대로 재현할 수 없습니다. 착수 전에 샘플 동영상을 확인하고, 접지 유지나 속도 평활화의 조건을 포함해 성립 가능한 범위를 합의합니다.
실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발의 상담
대상 기체, 실시 장소, 해결하고 싶은 과제, 희망 시기를 알려주세요. 실시 내용과 견적을 안내합니다.
실사 동영상으로부터의 휴머노이드 동작 생성·강화 학습 정책 개발에 대해 상담한다