VLM 자율 파지·피킹 PoC

멀티 모달 AI(VLM)×휴머노이드 자율 파지・피킹 PoC하드코드된 궤도에 의존하지 않고 카메라의 시각정보로부터 AI가 상황을 이해하고 잡는다.

Gemini 4 Argon 등 최신 멀티모달 AI(VLM/VLA)와 Unitree G1(5 손가락 손 구성)과 쌍팔 로봇을 조합하여 카메라 영상에서 대상물의 위치·자세·주위 상황을 인식하고 자율적으로 파지·배치(픽&플레이스)하는 실기 PoC 서비스입니다. 대상물의 위치를 매번 바꾸어 놓아도 AI가 시각에서 판단하여 파지 동작을 생성하기 때문에 수백~수천회의 모방 학습 데이터를 모으기 전의 「1 공정의 자동화 성립성 검증」을 단기간에 실시할 수 있습니다.

VLM 자율 파지·피킹 PoC개별 견적대상 범위를 사전에 합의

멀티모달 AI(VLM)×휴머노이드 자율 파지·피킹 PoC에 대해 상담한다

Gemini 4 Argon를 이용하여 Unitree G1이 카메라 시각에서 페트병을 자율 파지하는 실기 검증

SCOPE

상담 내용과 성과물

검증 로봇: Unitree G1(5 손가락 핸드/그리퍼 구성), AgiBot G2, OpenArm 쌍팔, RealMan 등에서 선정
AI·인식 기반: Gemini 4 Argon 등의 최신 VLM에 의한 시각 인식·공간 추론 + 역운동학(IK)/스킬 제어 또는 VLA 정책
대상 작업 예: 음료 병·수지 부품·상자·공구 등의 인식, 파지, 직립 유지 반송, 지정 트레이에의 배치
입증 단계: ①대상물 샘플을 이용한 유시마 실험실에서의 파지 테스트 ②위치 변동·조명 변화에 대한 내성 평가 ③현지 환경·다음 단계(데이터 수집·전용 학습)의 설계
아티팩트: 실제 기계 검증 동영상, 성공률, 사이클 타임, 실패 요인 분석 보고서, 본격 도입을 위한 기술 요건 정의
가격: 대상물의 종류, 사용 로봇, 검증 기간·장소에 따라 개별 견적

PROCESS

진행 방식

현상, 대상 기체, 현장의 조건, 희망 시기를 묻고, 실시 범위와 전제 조건을 합의하고 나서 착수합니다. 아티팩트와 가격은 개별 견적에 명시됩니다.

WHY VLM PICKING POC

자사 실험실에서 입증된 "시각 → 행동 변환"아키텍처로 PoC의 상승을 극적으로 단축

01 좌표 고정 프로그램에서는 대응할 수 없는 「두는 방법의 편차」에 대응

종래의 티칭 제어에서는 대상물이 몇 센티 어긋나는 것만으로 흔들립니다만, VLM 제휴에서는 카메라 화상으로부터 대상물의 3D 위치와 파지 어프로치를 매번 추론. 다시 놓아도 추종하여 다시 잡는 동작을 검증할 수 있습니다.

02 대량 데이터 수집 전에 "하드웨어로 잡을 것인가"를 최단 판정

처음부터 수천 에피소드의 모방 학습 데이터 수집에 투자하기 전에, VLM+스킬 제어로 「원래 지금의 로봇의 리치・파지력・카메라 화각으로 그 부품을 취급할 수 있을까」를 소액・단기간으로 파악할 수 있습니다.

03 VLM 추론에서 전용 VLA(π0.5/GR00T/ACT 등)로의 원활한 전환

VLM에 의한 제로 샷/소수 샷 검증으로 공정의 성립성을 확인한 후에는 동일한 실기 환경을 사용하여 원격 조작 데이터를 수집하여 고속·오프라인 동작하는 전용 VLA 모델이나 모방 학습 정책에 단계적으로 끌어올릴 수 있습니다.

NVIDIA GEAR SONIC × UNITREE G1

NVIDIA GEAR Sonic × Unitree G1: 실제 로봇에서의 동작 검증

Unitree G1 실제 로봇에서 NVIDIA GEAR Sonic을 실행하고 동작을 확인했습니다. 영상을 통해 검증 과정을 소개합니다.

NVIDIA GEAR Sonic × Unitree G1 — 실제 로봇에서의 동작 검증

GEMINI 4 ARGON × UNITREE G1

Gemini 4 Argon × Unitree G1: 시각에서 행동으로 변환하는 자율 파지 데모

Gemini 4 Argon를 사용하여 Unitree G1이 페트병을 잡고 들어 올리는 실기 검증을 실시했습니다. 하드코드된 모션은 일절 사용하지 않고, AI가 카메라의 시각 정보를 그대로 행동으로 변환하고 있습니다.

대상물의 위치를 바꾸어 다시 놓아도 AI가 시각에서 상황을 이해하여 파지 동작을 생성합니다. Unitree G1을 이용한 피지컬 AI·VLA의 실장이나, 대상 업무에 맞춘 PoC·실증 실험의 수탁 개발도 받고 있습니다.

Gemini 4 Argon × Unitree G1 — 하드코드된 동작 없이 AI가 시각을 행동으로 바꾸어 페트병을 파지(자사 실험실에서 촬영)

FAQ

자주 묻는 질문

멀티모달 AI(VLM)×휴머노이드 자율 파지・피킹 PoC로 무엇을 의뢰할 수 있습니까?

멀티모달 AI(VLM)×휴머노이드 자율 파지·피킹 PoC의 비용과 납품 범위는 어떻게 결정됩니까?

대상 기체·대수·실시 장소·필요한 성과물을 확인해, 대응 여부, 작업 범위, 완료 조건, 비용을 개별 견적으로 제시합니다.

자사의 부품이나 제품 샘플을 랩에 보내, Unitree G1등으로 잡을까 시험해 주실 수 있습니까?

네. 대상물의 치수・중량・재질(파손이나 액 누출의 유무)을 사전에 확인한 후, 도쿄・유시마의 EmplifAI랩에 샘플을 보내 주시면, 보유한 Unitree G1이나 쌍완기로 실기 파지 테스트를 실시해, 영상과 평가 데이터를 보고합니다.

CONTACT

멀티모달 AI(VLM)×휴머노이드 자율 파지・피킹 PoC의 상담

대상 기체, 실시 장소, 해결하고 싶은 과제, 희망 시기를 알려주세요. 실시 내용과 견적을 안내합니다.