인공지능이 발전할수록 우리는 그에게서 더 많은 정답을 기대하게 됩니다. 하지만 최근 자율주행과 의료 진단 같은 고위험 분야에서 AI 가 틀린 예측을 내놨음에도 불구하고 높은 확신도를 보이는 ‘과도한 확신’ 문제가 큰 걸림돌로 떠올랐습니다. 마치 자신이 모든 것을 안다는 듯 무작위 노이즈를 사실인 양 제시하는 생성형 AI 의 환각 현상은 사용자로 하여금 맹신하게 만들거나, 반대로 잘못된 판단에 따라 치명적인 오류를 범하게 할 수 있습니다. 이러한 맥락에서 KAIST 백세범 석좌교수 연구팀이 제안한 ‘예열(warm-up)’ 전략은 AI 산업의 신뢰성 문제를 해결할 핵심 열쇠로 주목받고 있습니다.
기존의 딥러닝 모델은 학습을 시작할 때 가중치를 무작위로 설정하는 방식을 주로 사용했습니다. 문제는 이 무작위 초기화 단계에서부터 AI 가 아직 아무것도 배우지 않은 상태임에도 불구하고 높은 확신을 보이는 경향이 나타난다는 점입니다. 마치 태어나자마자 외부 자극 없이도 신경 회로를 형성하며 자발적 활동을 하는 인간 뇌의 발달 과정을 연구팀은 주목했습니다. 연구팀은 실제 데이터를 학습하기 전에 무작위 노이즈로 신경망을 짧게 학습시키는 ‘예열’ 단계를 도입했습니다. 이 과정을 거친 AI 는 초기 확신도가 우연 수준에 가깝게 낮아지며, ‘아직 모른다’는 상태를 먼저 인지하게 됩니다.
이러한 변화는 AI 의 신뢰도를 획기적으로 높이는 결과를 가져왔습니다. 예열 학습을 적용한 모델은 처음 보는 데이터나 훈련 분포와 다른 새로운 유형의 데이터를 마주했을 때, 기존 모델처럼 무작정 높은 확신을 보이며 잘못된 답을 제시하기보다는 확신도를 낮춰 ‘모른다’고 판단하는 능력이 뚜렷하게 향상되었습니다. 이는 AI 가 단순히 정답을 맞추는 것을 넘어, ‘무엇을 알고 무엇을 모르는지’를 구분하는 메타 인지 능력을 갖출 수 있음을 시사합니다. 특히 의료나 자율주행처럼 오차가 허용되지 않는 분야에서는 AI 가 자신의 불확실성을 솔직하게 인정할 때, 인간 운영자가 개입하거나 추가 검증을 거치는 등 더 안전한 의사결정 구조를 만들 수 있습니다.
이번 연구가 주목받는 이유는 AI 기술이 이제 ‘정답의 양’을 넘어 ‘정답의 질과 한계’를 이해하는 단계로 진입하고 있음을 보여주기 때문입니다. 과거에는 모델이 얼마나 많은 데이터를 학습했는지가 중요했다면, 이제는 모델이 자신의 지식 상태를 얼마나 정확하게 인식하느냐가 핵심 경쟁력이 될 것입니다. 향후 생성형 AI 의 환각 현상을 줄이고, 산업 현장에 안정적으로 도입하기 위한 표준 학습 프로토콜로 이 ‘예열’ 전략이 어떻게 적용될지, 그리고 이를 기반으로 한 AI 의 메타 인지 능력이 어떻게 진화할지 지켜보는 것이 다음 트렌드를 읽는 중요한 열쇠가 될 것입니다.
작성자 소개
