개발자 mvakde가 자체 블로그를 통해 소형 트랜스포머 모델의 새로운 성능 결과를 공개했습니다. 이 모델은 NVIDIA RTX 5090 GPU 한 장을 사용해 단 1.5시간 만에 처음부터 학습되었습니다. 총 학습 비용은 약 67센트로 집계되었습니다.
공개된 결과에 따르면 이 모델은 ARC-AGI-1 벤치마크에서 44%의 정확도를 기록했습니다. 이는 기존 대규모 언어 모델들이 달성한 점수와 유사한 수준입니다. 또한 ARC-2 벤치마크에서도 7%의 점수를 획득했습니다.
해당 연구는 아키텍처적 복잡성을 최소화하는 데 초점을 맞췄습니다. SwiGLU 활성화 함수와 RMSNorm 정규화 계층 등 현대적인 요소가 적용되었지만, 전체적인 구조는 단순한 자기회귀 트랜스포머 형태를 유지했습니다. 학습 데이터는 단 1000개의 퍼즐 샘플만 사용되었습니다.
기존의 ARC-AGI 벤치마크는 주로 대규모 언어 모델이나 그 미세 조정 버전을 통해 점수를 높여왔습니다. 반면 이 접근법은 제한된 컴퓨팅 자원과 적은 데이터로 경쟁력 있는 성능을 냈다는 점에서 차별점을 둡니다. 저자는 샘플 효율성이 현재 AI 분야의 핵심 미해결 과제라고 지적했습니다.
Hacker News 커뮤니티에서는 이 결과에 대한 활발한 논의가 이어졌습니다. 일부 사용자는 아키텍처 최적화와 데이터 다양성 확보가 점수 상승의 주된 원인이라고 분석했습니다. 저자는 이러한 최적화가 일반적인 ‘레몬 짜내기’ 방식에 가깝다고 인정하면서도, 새로운 방법으로 한계를 시험하고 있다고 설명했습니다.
이번 실험은 메타러닝 관점에서 접근했습니다. 각 퍼즐마다 다른 규칙이 적용되지만, 평가 세트에 필요한 모든 개념은 학습 세트에 포함되어 있습니다. 테스트 시점에는 학습 데이터와 평가 데이터의 퍼즐을 모두 사용하여 모델을 학습하되, 평가 데이터의 정답 레이블은 숨겨진 상태로 진행됩니다.
저자는 이 결과가 이전 블로그 시리즈의 연장선상에 있다고 밝혔습니다. 이전 결과물들이 주목받았던 만큼, 이번 업그레이드 버전은 더 빠르고 저렴하며 여전히 오픈소스로 공개되었습니다. 저자는 앞으로의 연구를 통해 샘플 효율성의 한계를 더 깊이 파고들 계획입니다.
작성자 소개
