▲ 인공지능 모델이 예열학습을 통해 신뢰도 보정을 한 경우와 그렇지 않은 경우(AI생성 이미지)(그림 및 설명=KAIST)  © 특허뉴스

인공지능(AI)이 틀린 답에도 높은 확신을 보이는 ‘과신(overconfidence)’ 문제의 근본 원인이 규명되고, 이를 해결할 새로운 학습 방식이 국내 연구진에 의해 제시됐다. AI가 스스로 “모른다”고 판단할 수 있는 능력을 갖추는 방향으로, 인공지능 신뢰성의 새로운 기준을 제시한 연구다.

KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝 모델에서 널리 사용되는 ‘무작위 가중치 초기화(random initialization)’가 AI 과신을 유발하는 구조적 원인일 수 있음을 밝혀냈다고 27일 밝혔다.

연구팀은 기존 딥러닝이 학습을 시작하기 전, 아무것도 모르는 상태에서도 높은 확신도를 보이는 현상에 주목했다. 실제로 무작위로 초기화된 신경망에 의미 없는 데이터를 입력했을 때조차, 모델이 특정 답에 대해 과도한 확신을 보이는 현상이 확인됐다. 이러한 특성은 생성형 AI에서 사실과 다른 내용을 그럴듯하게 만들어내는 ‘환각(hallucination)’ 문제로 이어질 수 있다.

연구팀은 해결의 실마리를 인간 두뇌의 발달 과정에서 찾았다. 인간의 뇌는 태어나기 전부터 외부 자극 없이도 자발적인 신경 활동을 통해 신경회로를 형성한다. 이를 바탕으로 연구팀은 실제 데이터 학습 이전에 ‘무작위 노이즈’를 활용한 사전 학습 단계를 도입하는 ‘노이즈 예열 학습(warm-up)’ 방식을 제안했다.

이 방식은 인공지능이 본격적인 학습에 앞서 스스로의 불확실성을 먼저 조정하도록 만드는 과정이다. 예열 학습을 거친 모델은 초기 확신도가 낮은 수준으로 정렬되며, 기존에 나타나던 과신 편향이 크게 완화되는 것으로 나타났다.

핵심은 AI가 “나는 아직 모른다”는 상태를 먼저 학습한다는 점이다. 이를 통해 모델의 예측 정확도와 확신도가 보다 일관되게 일치하는 방향으로 개선됐다. 특히 학습하지 않은 새로운 데이터에 대해서도 무리하게 답을 내놓기보다, 확신도를 낮추며 판단을 유보하는 능력이 향상됐다.

이러한 변화는 분포 밖 데이터(out-of-distribution) 탐지 성능에서도 확인됐다. 기존 모델이 처음 보는 데이터에도 높은 확신을 보이며 오답을 제시하는 경향을 보인 반면, 예열 학습을 적용한 모델은 새로운 유형의 데이터를 보다 정확히 구별하는 것으로 나타났다.

이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어, ‘무엇을 알고 무엇을 모르는지’를 구분하는 메타 인지(meta-cognition) 능력을 가질 수 있음을 보여준 사례로 평가된다.

백세범 석좌교수는 “정확도를 높이는 것을 넘어, 인공지능이 스스로의 불확실성을 인식하는 원리를 제시했다는 점이 중요하다”며 “두뇌 발달 과정을 모사한 접근이 AI 신뢰성 문제 해결의 새로운 방향이 될 수 있다”고 설명했다.

해당 기술은 자율주행, 의료 진단, 생성형 AI 등 높은 신뢰성이 요구되는 분야 전반에 적용될 수 있으며, 딥러닝 모델의 기본 구조인 초기화 방식 자체를 개선하는 접근이라는 점에서 파급력이 클 것으로 전망된다.

이번 연구는 KAIST 천정환 석사과정 연구원이 제1저자로 참여했으며, 국제 학술지 네이처 머신 인텔리전스(Nature Machine Intelligence)에 4월 9일 온라인 게재됐다. 해당 논문은 ‘뉴스 앤 뷰스(News & Views)’에도 소개되며 학술적 중요성을 인정받았다.

논문명은 Brain-inspired warm-up training with random noise for uncertainty calibration이다.