▲ 인간과 AI의 유동성-안정성 균형(왼쪽 그림) 목표와 환경의 불확실성이 계속 변하는 상황. 변화하는 목표에 맞는 의사결정의 유동성과, 환경 변화에 흔들리지 않는 의사결정의 안정성 개념. (오른쪽 그림) AI 모델 (MB agent, MF agent)와 인간 피험자의 의사결정 유동성-안정성 균형 측정 결과.(논문에서 발췌. copyright: Nature Commnications)(그림 및 설명=KAIST)  © 특허뉴스

인간은 목표가 바뀌고 환경이 불확실해져도 빠르게 전략을 바꾸면서도 안정적인 판단을 유지한다. 반면 알파고로 대표되는 기존 강화학습 기반 AI는 유연성과 안정성을 동시에 갖추지 못하는 한계를 보여 왔다. KAIST 연구진이 이러한 차이의 근원이 인간 전두엽의 독특한 정보 처리 방식에 있음을 규명하며, ‘뇌처럼 학습하는 AI’로 나아갈 새로운 길을 제시했다.

KAIST는 뇌인지과학과 이상완 교수 연구팀이 IBM AI 연구소와 공동으로, 인간 전두엽이 목표 변화와 불확실한 환경을 처리하는 핵심 메커니즘을 세계 최초로 규명했다고 밝혔다. 연구팀은 이 성과가 기존 강화학습이 직면해 온 ‘안전성-유연성 딜레마’를 풀 실마리가 될 수 있다고 설명했다.

연구팀은 인간과 AI의 결정적 차이에 주목했다. 기존 강화학습 모델은 목표가 바뀌면 학습이 불안정해지고, 환경이 불확실해지면 적응력이 떨어진다. 그러나 인간은 두 조건에서도 비교적 흔들리지 않는다. 연구진은 그 이유가 전두엽이 정보를 저장하고 처리하는 ‘표현 구조’ 자체에 있다고 가설을 세웠다.

기능적 자기공명영상(fMRI) 실험과 강화학습 모델 분석을 결합한 결과, 인간 전두엽은 ‘목표 정보’와 ‘환경의 불확실성 정보’를 서로 간섭하지 않도록 분리해 저장하는 구조를 갖고 있음이 밝혀졌다. 이 구조가 뚜렷할수록 사람은 목표가 바뀌면 빠르게 전략을 수정하고, 예측이 어려운 상황에서도 안정적인 판단을 유지했다. 연구팀은 이를 통신 기술의 멀티플렉싱처럼, 서로 다른 정보를 동시에 처리하는 방식으로 설명했다.

더 나아가 전두엽은 단순히 학습을 수행하는 데 그치지 않고, 상황에 따라 어떤 학습 전략을 사용할지 스스로 선택하는 ‘메타학습’ 기능까지 담당하는 것으로 나타났다. 즉, 인간의 전두엽은 무엇을 배울지뿐 아니라 어떻게 배울지를 결정하는 이중 채널 구조를 통해 변화에 강한 학습 능력을 구현하고 있었다.

이번 연구는 AI 설계에 중요한 시사점을 던진다. 전두엽의 정보 분리·통합 방식을 AI 모델에 적용하면, 목표 변화에도 유연하면서 동시에 예측 불확실성 속에서도 안전한 판단을 내리는 차세대 강화학습 시스템 구현이 가능해질 수 있기 때문이다. 이는 자율주행, 로봇, 인간-컴퓨터 상호작용 등에서 AI가 인간의 의도와 가치를 더 잘 이해하고 위험한 판단을 줄이는 데 기여할 것으로 기대된다.

연구 책임자인 이상완 교수는 “이번 연구는 인간이 변화하는 목표를 따라가면서도 안정적으로 계획을 세울 수 있는 뇌의 작동 원리를 AI 관점에서 처음으로 규명한 성과”라며 “이 원리는 앞으로 AI가 사람처럼 적응하고, 더 안전하고 똑똑하게 학습하는 데 핵심 기반이 될 것”이라고 밝혔다.

이번 연구에는 성윤도 박사과정생이 제1저자로, IBM AI 연구소의 마티아 리고티(Mattia Rigotti) 박사가 제2저자로 참여했으며, 이상완 교수가 교신저자를 맡았다. 연구 결과는 국제 학술지 네이처 커뮤니케이션스(Nature Communications) 11월 26일 자에 게재됐다.

논문명은 Factorized embedding of goal and uncertainty in the lateral prefrontal cortex guides stably flexible learning이다.