▲ 출처=freepik  © 특허뉴스

 

 

현실 세계의 이미지나 배경에 가상의 이미지를 추가하여 보여주는 기술, ‘증강현실(AR)’.

전세계 IT공룡기업들은 다양한 증강현실 기반 기술을 개발해 다양한 분야에서 적용하고 있다. 이 기업들의 특허는 시장과 기업의 미래가치를 엿볼 수 있고, 특허의 등록 또는 자체 인용한 특허는 해당 기업이 조만간 내놓을 신제품과 강화될 기능 등을 예측할 수 있다.

 

Apple의 가상 객체 증강현실(AR)

 

증강현실은 컴퓨터로 만든 가상객체를 현실 이미지와 병합하는 데 중점을 둔 기술이다. 주어진 환경에 대한 실시간 비디오 데이터에 가상 이미지를 겹치게 하려면 정확한 위치 지정은 물론 이미지 크기 조정 및 다양한 기술적 고려가 필요하다.

 

특허는 카메라 또는 장치가 실제 환경의 2차원 이미지를 포착할 때 적어도 하나의 객체 또는 이미지 내 컴포넌트에 대한 정확한 위치를 확인하도록 요구한다. 또 레이더, 카메라 등을 사용해 바닥과 벽면 위치를 비롯해 주변 3차원 이미지와 공간 데이터를 수집해 활용한다. 다음으로, 시스템은 2차원 환경의 주어진 영역을 분할하거나 지정한다. 세분화 데이터는 실제 환경의 선택된 부분을 제거하는 동시에 가상객체를 원하는 이미지에 병합하는 데 사용된다. 이 방법은 사용자가 객체를 선택하면 가상 및 실제 이미지를 합쳐 사실적으로 표현해 준다.

 

▲ Apple, 가상 객체 증강현실(AR) 특허  © 특허뉴스

 

 

이 특허를 응용할 수 있는 분야는 가구 배치가 대표적이다. AR 데이터를 이용해 의자와 테이블을 실제 움직이지 않고 물건을 가상으로 배치할 수 있다. 가구를 옮기기 전에도 가구 배치 후 모습을 미리 확인할 수 있는 것이다. 또 실제 물건을 선택해 제거할 수도 있다. 깊이와 기하학 등 여러 요소를 세분화해 기술적 난점을 극복했다. 가구 배치 외에 차량 내비게이션 시스템에도 적용할 수 있다.

 

애플카의 AR 헤드업디스플레이

 

2016년 9월 23일에 가출원하고(62/399,140), 2017년 9월 22일에 정식 출원하고(15/713,421), 2018년 3월 29일 출원서가 공개됐다(20180089900)19). 자율주행 전기차 ‘애플카’를 준비 중인 애플은 AR 디스플레이 관련 특허를 출원했다. 애플의 증강현실 헤드업 디스플레이 기술은 차량 앞유리에 차선제어, 위험방지 등 주행에 필요한 각종 정보를 실제 외부 환경과 결합해 표시해 준다.

 

VR은 사용자로 하여금 인공지능 환경과 상호작용 경험을 가능토록 하는데 예를 들면 실제로 가상환경에서 물리적인 느낌을 받게 하는 것이다. 구체적인 예를 들어 입체장면(streoscopic scenes)을 사용자에게 디스플레이 해주어 깊이 있는 환상(illusion of depth)을 체험하도록 하고, 동시에 컴퓨터는 콘텐츠를 리얼타임으로 장면을 바꾸어 주면서 장면 내에서 사용자가 움직이는 환상을 제공하는 것이다. 비슷하게 AR은 물리적인 환경에 가상의 이미지를 겹쳐 보여줌으로써 생산성을 높이는 것이다.

 

▲ Apple 자율차를 위한 증강현실 디스플레이 특허   © 특허뉴스

자동차를 탄 승객들은 자동차에서 디바이스를 사용해 작업을 할 경우 자동차의 움직임에 따라 멀미(motion sickness)를 야기 시킬 수 있다. 이때 VR 시스템은 승객이 경험하는 물리적인 움직임과 매치되는 시각적인 큐(자극, visual cues)를 증강 혹은 가상 뷰로(virtual views) 제공할 수 있다. 예를 들어 VR 시스템은 버추얼 콘텐츠를 투영해 그 콘텐츠가 멀리 떨어진 객체라 할지라도 실제 외부 환경에서 안정화되고 고정된 것처럼 보이게 할 수 있다. 그러므로 VR 시스템은 생산성을 높여 줄 수 있는데, 예를 들어 승객들은 멀미 없이 자동차를 타고 작업(일)을 할 수 있기 때문이다. 또한 VR 시스템은 자동차의 가속도와 움직임을 가상 경험의 가속도와 움직임과 매치시킴으로써 움직이는 자동차 안에서 버추얼 경험을 고양시킬 수 있다.

 

자동차 안에서 HMD(Head mounted device)를 착용한 승객을 포함하는 VR 시스템이 가능하다. 3D 버추얼 뷰 내의 서로 다른 깊이(depths)와 거리(distances)에 있는 버추얼 콘텐츠는 두 개의 이미지 안에서 좌우로 이동한다. 이 때 콘트롤러와 HMD와 사용자 디바이스는 연결되어 있고, 사용자 디바이스의 출력은 콘트롤러로 보내지고, 그러면 버추얼 콘텐츠가 생성되고, 그 다음 버추얼 콘텐츠의 프레임(frames)이 HMD로 제공되어 승객이 HMD를 통해 보는 것이다.

 

이때 만약 리얼 환경에 투영되면 버추얼 콘텐츠는 자동차 앞의 수 미터 거리에서 고정된 것처럼 보이고, 만약 버추얼 환경에 투영되면 승객 앞에 고정된 것처럼 보여, 어느 경우이나 멀미를 일으키지 않는다는 것이다.

 

승객이 HMD 착용 없이 똑같은 버추얼 콘텐츠를 프로젝터를 통해 자동차 유리창으로 투영해 승객이 보면서 사용자 디바이스를 이용해 멀미 없이 작업(일)을 하는 것도 가능하다. 이때 투영의 해상도나 질을 높이기 위해 창문은 파장 가이드 기술 혹은 홀로그래픽 기술 등을 포함시킬 수 있다.

 

자동차 안의 실제 물리적인 시스템과 버추얼 시스템이 융합해 승객에게 동조화 물리 효과(Synchronized physical effects)를 제공하는 것도 가능하다. VR 콘트롤러와 자동차 안의 물리적인 시스템들은 신호를 주고받는다. 따라서 승객들은 동조화 물리 효과를 체험할 수 있는데, 예를 들어 가속이 되면 의자가 뒤로 제처지고 속도가 줄면 앞으로 제처진다. 가속에 따라 중력을 느끼는 것이다. 여기에 버추얼 콘텐츠의 내용에 따라 공조시스템이 동조화 작동할 수 있고 오디오시스템도 동조화 배경 음악 등을 제공할 있다.

 

VR 시스템에서 제공하는 승객과 옆에 앉은 가상의 저자 혹은 토크 쇼 진행자도 상상해 볼 수 있다. 승객은 HMD를 쓰고 가상의 저자를 불러내 책에 관한 내용을 토론할 수도 있고 책을 읽어 줄 수도 있다. 가상의 토크 쇼 진행자와 토크 쇼를 진행할 수도 있다.

 

▲ 지대식별과 지시 시스템/ 출원번호 15/762543(출처=윈텔립스)  © 특허뉴스

특허 문서에 따르면 차량속도 표시기가 현재 운전 중인 곳의 제한속도와 지금 운행 중인 자동차 속도에 따라 공간적으로 배치된다고 설명하는데, 이를 통해 운전자는 차량 속도나 시야에서 쉽게 확인하기 어려운 정보를 전방을 주시하면서 안전하게 확인할 수 있게 된다.

 

LG전자의 세계 최초 AR 글래스

 

LG전자는 세계 최초 5G AR 글래스를 출시했다. ‘U+리얼글래스’로 불리는 이 기기는 안경을 쓰듯 착용하여 렌즈를 통해 눈앞 가상공간에 스마트폰 화면을 띄워주는 서비스로 일종의 ‘나에게만 보이는 빔프로젝트’ 개념으로 볼 수 있다. 화면 컨트롤은 기본적으로 스마트폰을 이용한다.

 

아래 도면에서 6031은 이미지 영역으로 이 영역을 조절하여 출력되는 증강현실 화면이 도면상에서 601이다. 사용자의 컨트롤을 통해 화면 크기가 조정하고, 화면 사이즈는 최대 100인치 이상 확장 가능하며 시청 중인 콘텐츠 옆 빈 공간에는 또 다른 콘텐츠를 넣을 수도 있다.

 

▲ LG전자의 전자 디바이스/출원번호 10-2019-0112967/출처=윈텔립스  © 특허뉴스

페이스북의 AR 글래스

 

페이스북 CEO는 지난 10년간 우리에게 익숙한 기기였던 스마트폰 대신 증강현실 글래스가 보편화된 스마트 기기로 자리 잡을 것이라고 주장한다. 페이스북은 최근 손목밴드형 웨어러블 기기를 활용해 AR 글래스를 제어하는 뇌신경 기반 신기술 테스트를 공개했다.

 

▲ 출처=tech.fb.com  © 특허뉴스

AR 글래스와 손목밴드 착용 후 손가락을 가볍게 움직여 사용자의 취향에 맞는 음악을 추천해준다거나 가상 스크린/키보드를 이용해 타이핑을 하는 등 다양한 활동이 가능하다.

 

PayPal, 증강현실(AR) 쇼핑시스템

 

증강현실(AR) 쇼핑시스템은 3차원 AR를 기반으로 한 상세한 정보를 통해 구매를 결정할 수 있는 시스템으로, 증강현실 기기를 통해 클라이언트 장치로부터 이미지 데이터를 요청한 후 해당 객체에 대한 증강 현실 화면을 만들어준다. 2차원에 비해 정보 제공량이 풍부하고, 입체적으로 세밀한 정보를 제공함으로써 소비자 선택에 도움을 줄 수 있다.

 

소비자가 AR 안경을 쓰고 상점의 물건을 바라보면 가격과 물품 정보, 결제 옵션, 반품 정책 등의 내용이 눈앞에 뜨는 식이다. AR 안경은 시스템에 저장된 공급업체와 소비자 정보를 사용하여 온라인 구매 단계까지 안내한다.

 

▲ PayPal, 증강현실(AR) 쇼핑시스템 특허   © 특허뉴스

판촉 자료, 권장 사항, 제품을 구입할 위치 및 제품과 관련된 지침을 포함해 식별된 객체의 증강현실을 생성하는 방법을 제시한다. 이 기술은 사용자가 구매자와 판매자, 권장 사항 및 제품 자습서와 관련된 제품 및 서비스 리뷰 및 목록을 볼 수 있는 증강현실을 만들어 제품과 관련된 정보에 액세스할 수 있도록 한다.

 

AR를 통한 쇼핑의 발전은 기존 인터넷 쇼핑몰에서 접하지 못했던 새로운 경험을 제공한다. 이용자가 눈앞에 존재하는 다양한 제품이나 서비스에 대한 개별 정보를 확인한 뒤 바로 구매가 가능해진다.

 

페이팔은 ‘정보 결정을 위한 AR 활용’특허도 확보했다. 이 시스템은 현실 세계에서 AR 카메라로 상품들을 비춰 각각의 정보들을 확인한 뒤, ‘포인트 앤 클릭’ 방식으로 간편하게 결제가 진행되는 방식이다.

 

특히, 3차원 현실 속 다양한 오브젝트들 중 특정 객체들을 구별해내고, 즉각적으로 결제를 진행할 수 있다는 것이 강점이다. 향후 이와 같은 ‘AR 온라인 결제 방식’은 NFC(근거리 무선통신)방식의 결제를 대체할 가능성이 높을 것으로 전망된다.

 

Snapchat, 증강현실(AR)용 안경

 

증강현실(AR)용 안경은 안경으로 구현하는 증강현실 특허로 현실에 증강현실을 입히는 기술이다. 이미지 기반 위치 추적을 활용한 증강현실 시스템 및 방법을 설명한다. 거대한 이미지 데이터베이스를 구축하고 사용자가 찾는 곳을 감지해 미리보기 위해 배치한 디지털 이미지를 삽입하는 방식이다. 가상 물체앞에 실제 물체 또는 다른 가상 물체가 나타나면 기존 가상 물체는 가려진다.

 

예를 들어, 공원에서 휴대폰으로 사진을 찍어 보내면 위치를 ​​알 수 있다. 사전에 입수한 데이터 세트와 사진을 일치시켜 주변 상황을 파악한다. 이를 기반으로 사용자가 위치한 공간에 대한 정보를 수집하고 프로그래밍 된 방식으로 사물을 배치해 증강현실을 구현한다. 따라서 단순한 가상 환경 구현은 물론이고 거대한 공룡이 현실 공간에 뛰어 들어온 것처럼 보여줄 수도 있다.

 

▲ Snapchat, 증강현실(AR)용 안경 특허 © 특허뉴스

 

특허는 사용자가 보는 현실을 인식하기 위해 카메라 두 대와 다양한 센서 장착도 제안한다. 수많은 사진을 찍어 사용자 위치와 일치시키는 데이터베이스를 생성하는 프로세스도 다루고 있다. 또한 증강현실 헬멧, 바이저 또는 안경에서 찍은 사진을 AR 이미지로 구현한다.

 

스냅챗은 지난 2016년에 안경형 단말기‘스펙터클스(Spectacles)’를 출시했다. 스펙터클스는 소형 카메라가 장착돼 영상을 촬영하고 스냅챗에 바로 업로드할 수 있는 기기다.

 

IT공룡기업들이 증간현실(AR) 기술개발에 주목하는 가운데, 기술사업화 전문기업 (주)테크란 하청일 대표는 “4차산업혁명은 ‘초연결·초지능·초실감’ 정보통신기술과 다양한 과학기술의 융합에 기반한 차세대 산업혁명으로, 핵심은 O2O(Online 2 Offline)융합이며, 이러한 O2O 융합의 최종 결정판이 가상·증강현실”이라며, “가상·증강현실은 사용자와의 접점에 있는 기술로 시간과 공간 그리고 신체적/상황적 제약을 극복하고 언제 어디서나 현실적 경험의 제공이 가능해 사용자에게 초융합적 가치를 제공한다. 이를 통해 온라인과 오프라인의 경계를 허물고 글로벌 사용자들과 디지털 공감과 소통함으로써 4차산업혁명의 촉진과 확산을 이끌 핵심기술로 부상했다”고 진단했다. 

기사 내용과 관련이 없는 글, 욕설을 사용하는 등 타인의 명예를 훼손하는 글은 관리자에 의해 예고없이 임의 삭제될 수 있으므로 주의하시기 바랍니다. 댓글 작성 시 상대방에 대한 배려와 책임을 담아주세요.

• 닉네임
• 비밀번호
• 
• 도배방지 입력