▲ 제안된 ‘BIGS’ 기법을 사용하여 다양한 시점에서 손-물체 상호작용을 복원한 결과 / 실제 카메라 시점(Camera view)뿐 아니라, 보이지 않는 새로운 시점(Novel view)에서도 손과 물체의 형상을 안정적으로 예측한 결과를 보여준다. 기존 기술(HOLD)이 손가락이나 물체 표면을 뭉개거나 누락한 것과 달리, BIGS는 접촉 부위까지 자연스럽게 복원한 것을 확인할 수 있다.(그림 및 설명=UNIST)  © 특허뉴스

가상현실(VR) 속 수술 시뮬레이션이 한층 더 실감 나게 진화할 전망이다. UNIST 인공지능대학원 백승렬 교수팀이 단일 RGB 영상만으로 양손과 처음 보는 물체의 복잡한 상호작용을 실시간 3D로 시각화할 수 있는 혁신적인 인공지능 모델 'BIGS(Bimanual Interaction 3D Gaussian Splatting)'를 개발하며 가상·증강현실(AR·VR), 로봇 제어 분야의 새로운 가능성을 열었다. 이 연구 결과는 컴퓨터 비전 분야 최고 권위 학회인 CVPR(Conference on Computer Vision and Pattern Recognition) 2025에 채택되어 발표될 예정이다.

기존 기술은 카메라로 촬영된 2D 데이터를 기반으로 손과 물체의 3차원 위치나 형태를 복원하는 데 한계가 있었다. 특히 한 손만 인식하거나 사전에 스캔된 물체에만 대응할 수 있어, AR이나 VR 기술에서 현실감 있는 상호작용 장면을 재현하는 데 어려움이 많았다. 모의 수술과 같이 양손과 다양한 의료 기구가 뒤엉킨 복잡한 장면을 정확하게 재현하는 것은 더욱 힘들었다.

백승렬 교수팀이 개발한 BIGS는 이러한 한계를 뛰어넘었다. 이 AI 모델은 손이 가려지거나 일부만 보이는 상황에서도 전체 형상을 안정적으로 예측할 수 있으며, 심지어 처음 보는 물체도 학습된 시각 정보를 통해 보이지 않는 부분까지 자연스럽게 그려낼 수 있다. 무엇보다도 깊이 센서나 여러 대의 카메라 없이 단 한 대의 카메라로 찍은 일반 RGB 영상만으로 이 모든 복원이 가능하다는 점에서 현장 적용성이 매우 높다.

BIGS는 '3차원 가우시안 스플래팅(Gaussian Splatting)' 기술을 기반으로 한다. 이 기술은 사물의 형상을 퍼지는 점 구름 형태로 표현하여, 픽셀 단위로 경계가 뚜렷한 기존 포인트 클라우드 방식보다 손과 물체가 만나는 접촉면 등을 훨씬 더 자연스럽게 복원한다. 손이 겹치거나 일부가 가려진 상황에서는 전체 형상 추정이 어려운 가우시안 스플래팅의 한계를, 모든 손을 하나의 기준 손 구조(Canonical Gaussian)에 맞춰 정렬하는 방식으로 해결했다. 또한, 사전 학습된 확산 모델을 활용한 점수 증류 방식(Score Distillation Sampling, SDS)을 적용하여 영상에 보이지 않는 물체의 뒷면까지 정교하게 복원하는 기술력을 선보였다.

실제 ARCTIC, HO3Dv3 등 국제 데이터셋을 활용한 실험 결과, BIGS는 손의 자세, 물체의 형상, 그리고 두 손과 물체 간의 접촉 정보 복원뿐만 아니라 화면 재현 품질(렌더링) 면에서도 기존 기술보다 뛰어난 성능을 입증했다.

이번 연구에는 UNIST 온정완 연구원이 제1저자로, 곽경환, 강근영, 차준욱, 황수현, 황혜인 연구원이 공동 연구자로 참여했다. 백승렬 교수는 "이번 연구는 향후 가상현실(VR), 증강현실(AR), 로봇 제어, 원격 수술 시뮬레이션 등 다양한 분야에서 실시간 상호작용 복원 기술로 활용될 것으로 기대된다"고 밝혔다.

손과 물체의 상호작용을 현실감 있게 재현하는 BIGS 기술은 의료 교육, 정교한 로봇 작업, 몰입형 가상현실 경험 등 여러 분야에 혁신을 가져올 잠재력을 지니고 있다.

논문명은 BIGS: Bimanual Category-agnostic Interaction Reconstruction from Monocular Videos via 3D Gaussian Splatting이다.