영국 인공지능안전연구소 AISI 가 최근 발표한 키미 K3 의 사이버 능력에 대한 예비 평가 결과가 전 세계 AI 전문가들의 이목을 집중시키고 있습니다. 이 평가는 단순히 점수를 매기는 것을 넘어, 오픈 가중치 모델들이 실제 보안 연구나 취약점 탐색에서 얼마나 효과적인지를 검증하려는 시도였습니다.
하지만 결과 발표 직후 커뮤니티에서는 평가 방식 자체에 대한 의문이 제기되며 논쟁이 시작되었습니다. 특히 키미 K3 가 최첨단 폐쇄형 모델들에 비해 현저히 낮은 점수를 기록했다는 사실은 많은 이들에게 충격으로 다가왔습니다.
## 평가 방식의 함정과 실제 성능 간극
영국 AISI 의 평가 보고서에 따르면 키미 K3 는 사이버 보안 관련 테스트에서 최첨단 모델들보다 성능이 크게 뒤처지는 것으로 나타났습니다. 구체적인 수치로 보면 키미 K3 는 41 개의 샘플 중 단 4 개에서만 ACE 를 달성했습니다.
이는 표준인 1 억 토큰 제한 내에서 10 번 중 1 번 정도만 문제를 해결했다는 의미입니다. 반면 최상위 폐쇄형 모델들은 훨씬 더 높은 성공률을 보였습니다.
이 격차는 단순한 점수 차이가 아니라 모델이 복잡한 보안 시나리오를 얼마나 잘 이해하고 해결하는지를 보여주는 중요한 지표입니다. 특히 코드 실행이나 임의의 읽기 쓰기 시나리오에서 키미 K3 는 성공적인 사례를 거의 보여주지 못했습니다.
하지만 전문가들은 이 결과가 키미 K3 의 실제 능력을 완전히 반영하지 못할 수 있다고 지적합니다. 평가 과정에서 사용된 1 억 토큰 제한이 모델의 잠재력을 충분히 끌어내지 못했을 가능성이 높기 때문입니다.
키미 K3 는 토큰을 많이 소모하는 모델로 알려져 있어, 제한된 토큰 예산 내에서 성능이 포화 상태에 도달하기 전에 평가가 종료되었을 수 있습니다. 실제로 일부 분석가들은 이 평가가 오픈 가중치 모델의 최대 능력을 약간 과소평가했을 것이라고 추정합니다.
평가 팀도 공식적으로 특정 유도나 최적화를 수행하지 않아 성능이 완전히 드러나지 않았음을 시인했습니다.
## 글로벌 반응과 향후 전망
이 평가 결과가 발표된 후 글로벌 AI 커뮤니티에서는 다양한 반응이 쏟아졌습니다. 일부는 키미 K3 가 GPT 5.6 솔보다 낮지만 Opus 4.8 보다 높은 수준으로 평가해야 한다고 주장했습니다.
이는 모델이 취약점을 찾고 이를 활용하는 능력에서 최첨단 모델들과 그리 멀지 않았다는 판단에서 나온 의견입니다. 또한 GLM 5.2 와 같은 다른 중국계 모델들도 비슷한 평가를 받았지만, 실제 보안 연구 능력은 오히려 더 뛰어날 수 있다는 분석도 존재합니다.
이러한 논쟁은 단순한 순위 경쟁을 넘어, 어떤 평가 기준이 모델의 실제 능력을 가장 정확히 반영하는지에 대한 근본적인 질문을 던집니다.
현재 키미 K3 의 Elo 점수는 약 2000 점으로 추정되며, 이는 최첨단 폐쇄형 모델들의 3000 점과 큰 차이를 보입니다. 공개된 벤치마크에서는 일반 작업에서 경쟁 모델들과 비슷한 점수를 기록하지만, 폐쇄형 벤치마크나 복잡한 보안 작업에서는 뒤처지는 모습을 보입니다.
이는 모델이 단순한 작업에서는 잘 수행하지만, 맥락이 길어지거나 복잡한 추론이 필요한 상황에서는 성능이 급격히 떨어지는 특성을 가지고 있음을 시사합니다. 특히 긴 컨텍스트 길이에서 성능이 저하되는 경향은 키미 K3 의 가장 큰 약점으로 꼽힙니다.
앞으로 주목해야 할 점은 이 평가 결과가 향후 모델 개발 방향에 어떤 영향을 미칠지입니다. 만약 평가 방식의 한계가 실제로 성능 과소평가로 이어졌다면, 키미 K3 는 향후 더 긴 컨텍스트와 최적화된 평가 환경에서 재평가될 가능성이 높습니다.
또한 보안 연구나 취약점 탐색과 같은 특정 분야에서의 실제 활용도가 재조명받을 수 있습니다. 사용자와 개발자들은 단순히 점수만 보지 않고, 모델이 어떤 상황에서 강점을 발휘하는지 면밀히 관찰해야 합니다.
이 평가는 AI 모델의 능력을 단순화하여 비교하는 것의 위험성을 다시 한번 일깨워주었으며, 향후 더 정교한 평가 체계가 필요함을 보여줍니다.
작성자 소개
