▲ 연구 이미지 (AI 생성 이미지, 제공=KAIST)  © 특허뉴스

생성형 인공지능(AI)이 눈으로 본 것과 귀로 들은 것을 혼동해 실제 존재하지 않는 정보를 만들어내는 'AI 환각(Hallucination)' 문제가 산업 현장의 신뢰성을 위협하는 과제로 떠오른 가운데, 국내 연구진이 시각과 청각, 다양한 센서 정보를 AI가 스스로 구분해 환각을 줄이는 핵심 기술을 개발했다. 별도의 대규모 재학습 없이도 AI의 정확도를 높일 수 있어 자율주행차와 의료 AI, 로봇 등 실제 산업 현장에 빠르게 적용될 수 있을 것으로 기대된다.

KAIST는 전기및전자공학부 노용만 교수 연구팀이 멀티모달 대형언어모델(MLLM)의 감각 혼선을 줄이는 두 가지 핵심 기술을 개발했다고 31일 밝혔다.

멀티모달 AI는 텍스트뿐 아니라 이미지와 영상, 음성 등 여러 형태의 정보를 동시에 이해하고 판단하는 차세대 AI다. 그러나 기존 AI는 서로 다른 센서가 담고 있는 물리적 의미를 제대로 이해하지 못하거나, 보이는 정보만으로 존재하지 않는 소리까지 만들어내는 등 '감각 혼선'과 'AI 환각' 문제가 꾸준히 제기돼 왔다.

▲ 기존 인공지능이 열화상 이미지 속 사슴이 밝게 빛나는 이유를 '열 방출'이 아닌 '햇빛 반사'로 오인식하는 오류 예시 (그림 및 설명=KAIST)  © 특허뉴스

연구팀은 이러한 한계를 해결하기 위해 '센서 이해 AI(DNA, Diverse Negative Attributes)'와 '감각 혼선 방지 기술(MAD, Modality-Adaptive Decoding)'을 개발했다.

DNA 기술은 열화상과 깊이영상, 엑스레이 등 서로 다른 센서가 갖는 물리적 특성을 AI가 정확하게 이해하도록 돕는 학습 기법이다. 기존 AI는 열화상에서 밝게 보이는 부분을 단순히 빛으로 인식하는 경우가 있었지만, 연구팀은 AI가 열과 거리 등 센서가 측정하는 실제 물리 정보를 학습하도록 설계해 어둠이나 연기 속에서도 사물을 보다 정확하게 인식할 수 있도록 했다.

함께 개발한 MAD 기술은 시각과 청각 정보가 서로 영향을 주며 발생하는 AI 환각을 줄이는 기술이다.

예를 들어 CCTV 영상에 자동차가 지나가는 모습만 있을 뿐 실제 소리는 녹음되지 않았는데도 기존 AI는 "엔진 소리가 들린다"고 답하는 경우가 있었다. 연구팀은 AI가 먼저 "영상으로 판단해야 하는지, 소리로 판단해야 하는지"를 스스로 구분한 뒤 해당 감각 정보에 집중하도록 설계해 이러한 감각 혼선과 환각을 효과적으로 억제했다.

특히 이번 기술은 AI를 처음부터 다시 학습시키는 대규모 재학습 과정이 필요 없다는 점이 강점이다. DNA는 적은 데이터만으로 다양한 센서를 이해하도록 성능을 높였고, MAD는 기존 AI 시스템에 프로그램을 추가하듯 적용할 수 있도록 설계돼 시간과 비용을 크게 줄이면서도 AI의 신뢰성을 높일 수 있다.

연구팀은 이번 기술이 자율주행차와 구조 로봇, 드론뿐 아니라 공항 보안검색과 의료영상 분석 등 다양한 분야에서 활용될 것으로 기대하고 있다. 밤이나 안개 속에서도 보행자와 차량을 정확하게 인식해야 하는 자율주행 시스템은 물론, 화재 현장의 구조 로봇과 CT·MRI·엑스레이를 함께 분석하는 의료 AI의 정확성과 신뢰성을 높이는 데도 기여할 수 있다는 설명이다.

노용만 교수는 "멀티모달 AI가 실제 환경에서 활용되기 위해서는 다양한 센서의 특성을 정확하게 이해하고 여러 감각 정보를 혼동하지 않는 것이 무엇보다 중요하다"며 "이번 연구는 대규모 재학습 없이도 AI의 감각 편향과 환각을 줄여 실제 생활과 산업 현장에서 믿고 사용할 수 있는 멀티모달 AI의 기반을 마련했다"고 말했다.

이번 연구는 KAIST 전기및전자공학부 정상윤 박사과정이 두 연구 모두 제1저자로 참여했으며, 유영준 박사가 DNA 연구의 공동 제1저자로 참여했다. '감각 혼선 방지(MAD)' 연구는 컴퓨터 비전 분야 최고 권위 국제학술대회인 CVPR에서 지난 6월 발표됐으며, '센서 이해 AI(DNA)' 연구는 영상처리 분야 최고 권위 학술지인 IEEE Transactions on Image Processing에 게재됐다.

논문명은 Enhanced Vision-Language Models for Diverse Sensor Understanding: Cost-Efficient Optimization and Benchmarking과 MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models이다.