[글로벌 특허 브리핑①] 인공지능 얼굴인식(Face ID) 기술

특허뉴스 이성용 기자 | 기사입력 2019/02/13 [17:19]

[글로벌 특허 브리핑①] 인공지능 얼굴인식(Face ID) 기술

특허뉴스 이성용 기자 | 입력 : 2019/02/13 [17:19]

 

 

 

인공지능(AI) 분야에서 Apple은 on-device 제품을 개발하고 실제 제품에 적용했다는 점에서 구글을 능가한다. 블록체인 개념의 Cloud형 Edge 시대가 이미 도래했기 때문이다. 실제로 Apple은 2017년에 자체 개발한 뉴럴엔진 기반의 인공지능 칩(A11 Bionic Chip)을 iPhone X에 탑재했다. IP타깃이 발간한‘Apple 특허분석’보고서를 기반으로 AI 칩 설계는 물론 독자적인 OS 플랫폼까지 구축한 애플의 특허전략을 분석한다. <편집자>

▲ 스캐닝 뎁스 엔진 특허     © 특허뉴스

 

뉴럴엔진 기반의 인공지능 칩(A11 Bionic Chip)
 
기존 APU는 한 번에 하나씩 순차적으로 정형화된 데이터를 빠르게 처리했지만, 인공지능 칩은 기기(Edge) 내의 이미지처리, 음성인식 등 다양한 비정형 데이터를 빠르게 처리할 수 있다. 현재 아마존의 에코를 비롯 구글의 홈 등 AI 스퍼커들은 AI 스피커에 입력된 음성을 클라우드(Cloud)로 보내 답변을 찾은 뒤(이를 Edge to Cloud라 함) 다시 스피커로 전송하는 방식(이를 Cloud to Edge라 함)을 채택하고 있다, 그 결과 음성인식 AI 비서가 사람의 말을 알아듣는 데 최소한의 시간이 걸린다. 이러한 문제를 해결하기 위해 등장한 것이 AI칩이다. AI칩이 발전할수록 기기 자체에서 처리할 수 있는 데이터 량이 늘면서 데이터 처리 속도가 빨라져 사용자 만족도도 올라간다.
이러한 개념은 자동차와 드론 관련 컨설팅 업체들의 최근 보고서를 보면 파악할 수 있는데, 그것은‘클라우드에서 온프레미스로 이동한다(the shift is moving back from the cloud to on premise)’는 것이다. 이때 ‘on-prem’이란 부분적으로 자동차나 드론을 말하는데, 좀 더 구체적으로 얘기하면 디바이스 자체인 기기(Edge)를 말한다. 이를 가장 빨리 이해한 기업은 A16Z인데, 이들은 ‘클라우드 컴퓨팅의 종말(The End of Cloud Computing)’ (a16z.com, 16 Dec 2016)1) 이란 프리젠테이션에서, “하늘에 있는 클라우드는 종말이 오고, 바퀴와 날개를 가진 셀프-드라이빙 카나 드론 자체가 데이터 센터가 된다는 것(where self-driving cars and drones are really data centers with wheels or wings)”이다.
이것이 바로 블록체인(Block Chain)의 원리이다. 중앙화 중심의 클라우드(Centralized Cloud-Centric)로 그간 Google, Apple, FB 등은 데이터의 독점과 경제의 독점으로 거대 제국을 이루었다. 블록체인은 분산원장(Distributed Ledger) 기술로 거래정보를 기록한 원장을 금융기관 등 특정 기관의 중앙서버가 아니라 P2P(Peer-to-Peer, 개인간) 네트워크에 분산해 참가자가 공동으로 기록하고 관리하는 기술이다.
이 개념의 출처는 아마존(Amazon)이 비밀리에 개발하고 있는 자율차 개발 프로젝트인 코드명 보그(Borg)에서 나온 것으로 보인다. 코드명 보그란 무엇인가? 바로 영화 ‘스타 트렉(Star Trek)’에 등장하는 보그이다. 영화 ‘스타트렉’에 등장하는 보그는 인공지능으로 제어되는 집단의식(AI-controlled collective consciousness)을 이용해 보다 빠르고 효율적으로 의사결정을 한다. 다시말해 기업들이 최상의 방법으로 공유할 수 있는 그룹사고(groupthink)이다. V2V/V2I/V2P가 되든 V2X가 되려면 모든 자율차나 자율트럭들이 센서 데이터나 매핑 데이터베이스의 인공지능 알고리즘으로 리얼타임으로 학습하고 리얼타임으로 공유해야 하는데, 바로 아마존이 이것을 개발하는 것이다.

▲ 애플 iPhone X의 3D 애니모지(Animoji) 기능     © 특허뉴스

 

탈-중앙화된(Decentralized) 인공지능 디바이스

 

중앙화 중심의 클라우드(Centralized Cloud-Centric)로 그간 Google, Apple, 페이스북 등은 데이터의 독점과 경제의 독점으로 거대 제국을 이루었다. 최근 페북의 개인정보 유출 등 그 피해 사례가 점점 가시화되고 있다. 우리가 글을 써서 올리는데 내 데이터로 떼돈을 벌고 있는 기업들은 바로  Google, Apple, 페이스북 등이다. 그래서 탈-중앙화된(Decentralized) 디바이스(Edge)로 데이터를 분산시켜 데이터와 경제의 주권화를 찾자는 것이다.
예를 들어 20대의 자율차 혹은 20대의 드론이 광화문을 주행 또는 비행한다고 하자. 그런데 광화문이 갑자기 테러집단에 의해 공격을 받고 있는 상황이다. 테러집단들이 제일먼저 하는 것은 광화문 일대의 통신을 마비시키는 것이다.
따라서 이미 클라우드로 데이터를 보낼 수 없는 상황이다. 이럴 경우 20대의 자율차와 드론들이 별도의 특별 통신, 예를 들면 레이저 통신을 통해 협력해 최적의 판단 및 결정을 내려 테러집단을 물리친 후 통신망을 복구시킨 후 클라우드로 보내면 클라우드는 하늘에서 전체 글로벌 데이터를 수집해 글로벌로 어느 지역에서 테러가 일어났고 일어날 것을 예측해 예방할 수 있다.
이것이 바로 AI칩 베이스의 기기(Edge)에서 우선 판단을 하고 차후에 클라우드에 알려 부분과 전체를 파악하는 Edge<->Cloud의 개념이다. 물론 필자가 보기엔 클라우드의 종말이 아니라 디바이스 자체가 데이터 센터이므로 당분간은 양립하고 협력하는 하이브리드 형태로 갈 것으로 보인다. 마찬가지로 지금은 Cloud->Edge 개념의 퍼블릭 블록체인도 결국 Cloud<->Edge 개념의 하이브리드 블록체인으로 갈 것으로 예측하고 있다.
따라서 기존의 삼성전자 등 칩 제조사들은 그간 고객의 데이터를 구글, 애플, 페북의 클라우드에 독과점을 허용했지만, 조만간 Cloud -> Edge로 데이터가 분산되기 때문에 AI칩을 개발하는데 박차를 가하는 것이다. 칩 제조사들의 CES 2018 주제를 보면 ‘우리는 데이터 회사이다’를 천명하고 있는 이유도 이 때문이다. 게다가 향후 Cloud<->Edge의 쌍방향 소통과 분석을 위해 구글, 애플, 아마존, 알리바바, 페북까지 AI칩 개발에 뛰어들고 있는 실정이다.
따라서 향후 10년간은 누가 먼저 획기적인 AI칩을 개발하는가에 따라 제4차 산업혁명이 판가름 날 것으로 보인다. 더욱이 AI칩은 기본이고 모든 제4차 산업혁명을 주도하는 공통적인 핵심기술이자 융합기술이기 때문에 AI칩을 선점하는 기업이 나머지 제4차 산업혁명 기술들을 모조리 선점할 가능성이 높다.

▲ 애플이 등록한 얼굴인식 기술을 이용한 모바일 디바이스 잠금 특허     © 특허뉴스

 

얼굴인식(Face ID)과 뉴럴 네트워크 특허

 

Apple의 얼굴인식(Facial Recognition) 기술 개발은 2011년으로 거슬러 올라간다. ‘얼굴인식 기술을 이용한 모바일 디바이스의 잠금과 잠금 해제(Locking and Unlocking a Mobile Device using Facial Recognition)’라는 기술을 2011년 3월 16일에 미국특허청에 출원해(13/049,614), 2012년 9월 20일에 공개되고(20120235790), 2015년 3월 31일에 특허(8,994,499)를 취득했다.
2016년에 Apple은 이모티언트(Emotient)와 리얼페이스(RealFace)라는 2개 기업을 인수했는데, 기존의 이 얼굴인식 기술이 향후 대단할 것으로 판단해 청구항을 수정한 것으로 보인다. 지문인식과 함께 얼굴인식이 차세대 대안으로 떠오를 수 있다는 것을 간파한 것이다. 특히 청구항 24번을 보면 하나 이상의 프로세서가 등장하고 하나 이상의 센서가 등장하며 하나 이상의 이미지가 나타나지 않을 때 자동으로 잠근다고 기술하고 있는데, 이는 센서 융합 알고리즘이다.
Apple은 더 나아가 사람의 얼굴인식+출현인식+모션인식에 뉴럴 네트워크 알고리즘을 융합해 Mac이 절전모드(Reduced power mode)에 있을 때 사용자가 출현하면 자동으로 켜는 기술을 개발하고 있다. 특히 카메라와 근접 센서 등 센서 융합(Sensor fusion) 알고리즘과 감지(검출) 로직(detection logic)은 뉴럴 네트워크를 사용하는데, 벡터 머신(vector machines)과 알고리즘 베이스의 확률적 기계 학습을 지원해 사람이 출현했는지를 결정하는데, 컴퓨터와 사람의 출현 거리인 한계거리(Threshold distance)를 정해 이 한계거리 내에서 센서들이 인식이 되면 컴퓨터를 자동적으로 켤 수 있다고 기술하고 있다.
Face ID의 핵심은 트루뎁스(TrueDepth) 적외선 카메라인데, 이는 Apple이 2013년 11월 17일에 이스라엘 기업인 프라임센스(PrimeSense)를 3억4천500만 달러에 인수한 결과로, 프라임센스가 트루뎁스 카메라를 개발하는데 지대한 공헌을 했다.
프라임센스는 3D 센싱(Sensing) 기업으로 3D 환경, 즉 3차원 증강현실과 가상현실(3D AR/VR)을 구축하는 원천기술을 확보했다. 3D 동작을 감지하는 칩(Chip)이 주특기이다. 마이크로소프트(MS)의 동작인식 기술인 키넥트(Kinect)와 유사하다. 프라임센스는 또한 페이스북이 2014년 3월 25일에 20억 달러를 주고 인수한 헤드마운티드 디스플레이(HMD) 베이스의 VR을 구축하는 오큐러스 리프트(Oculus Lift)와도 유사하다. 페북은 오큐러스 리프트를 이용해 차세대 3차원 게임, 3차원 스포츠, 3차원 원격 교육, 3차원 원격 진료에 활용하고자 한다.

▲ 출현 센싱(Presence Sensing) 관련 특허     © 특허뉴스

 


특히 프라임센스의 3D AR/VR 원천 기술과 헤드셋(headset) 기술이 오늘날의 Face ID를 낳게 했다. 프라임센스의 해당 기술은 적외선을 이용해 트루뎁스(TureDepth) 카메라나 스캐너에 적용할 수 있는 기술로, 개발은 2012년으로 거슬러 올라간다. 2012년에 가출원하고(61/598,921),
2013년에 공개되고(20130207970), 2017년 5월 16일에 특허를 획득했다. 특허의 요약을 보면 장면(얼굴, 몸, 손, 사물, 배경 등)의 수많은 점들(spots)로 향하는 적외선 빛의 일련의 파동을 가진 빔을 방출하는 송신기(transmitter)가 있고, 그 다음 반사되어 오는 빛을 수신하는 수신기(receiver)가 있는데, 이때 수신기는 반사되어 오는 빛의 파동 여행 시간(a time of flight of the pulses)을 나타내는 데이터를 생성한다. 그 다음 프로세서가 수신기에서 출력한 데이터를 프로세싱해 장면을 3차원 맵으로 그려낸다.
이처럼 많은 기업들이 인공지능 칩에 도전하고 있다. 그러나 인공지능 칩은 많은 자본과 규모가 필요함으로 몇몇 기업들은 과거에도 그렇듯이 실패할 것이고 Apple과 같이 그 동안 지식과 노하우를 축적한 기업들은 성공할 가능성이 높다.

 

  • 도배방지 이미지

인공지능, 얼굴인식, Face ID, 인공지능칩, AI, 블록체인, 애플, 스캐닝 뎁스엔진 관련기사목록
스페셜 기획 많이 본 기사