최근 AI 업계의 화두가 거대 언어 모델의 성능 경쟁에서 경량화와 효율성으로 빠르게 이동하고 있습니다. 그 중심에 14MB 크기의 에이전틱 LLM인 Needle2가 등장하며 기술계의 이목을 집중시키고 있습니다.
기존에는 고성능 GPU나 NPU가 탑재된 고가 장비에서만 구동되던 온디바이스 AI가 이제는 200달러 미만의 저가형 스마트폰이나 라즈베리 파이 같은 마이크로 컨트롤러에서도 실시간으로 작동할 수 있게 된 것입니다. 이는 단순히 모델 크기를 줄인 것을 넘어, 하드웨어 제약이 큰 환경에서도 복잡한 도구 호출과 구조화된 데이터 추출이 가능해졌음을 의미합니다.
## 저사양 기기에서도 가능한 에이전틱 추론의 실체
Needle2는 4500만 개의 파라미터를 가지면서도 전체 모델 파일 크기가 14MB에 불과합니다. 세션 실행 시 필요한 램 용량도 28MB 수준으로 매우 낮아 최신 마이크로 컨트롤러인 ESP32-S3 같은 기기에서도 구동이 가능합니다.
Cactus 컴퓨트에서 공개한 이 모델은 단순 Attention 네트워크 기반의 아키텍처를 활용하고 CQ2 비트 양자화 기술을 적용해 효율성을 극대화했습니다. 실제 테스트 결과 라즈베리 파이 5에서는 초당 500 토큰의 디코딩 속도를 기록했으며, 메타 퀘스트 3S나 애플 비전 프로 같은 VR 기기에서는 초당 400에서 1500 토큰 사이의 속도를 보여줍니다.
심지어 삼성 A 시리즈 같은 200달러 미만 스마트폰에서도 초당 300에서 700 토큰의 처리 속도를 낼 수 있어 실제 활용도가 매우 높습니다.
이 모델이 특히 주목받는 이유는 온디바이스 AI가 단순히 텍스트를 생성하는 것을 넘어 기기를 제어하는 에이전트 역할을 수행할 수 있기 때문입니다. 스마트홈에서 전등을 켜거나 도어를 잠그는 명령을 내릴 때 거대 모델이 필요하지 않다는 점이 증명되었습니다.
각 기기가 이미 함수와 타입화된 파라미터를 통해 자신의 능력을 노출하고 있기 때문에 이를 매핑하는 작업만으로도 충분한 성능을 발휘할 수 있습니다. 이는 클라우드 의존도를 낮추고 데이터 프라이버시를 강화하는 동시에 네트워크 지연 시간을 획기적으로 줄여줍니다.
## 기술적 한계와 향후 발전 방향에 대한 냉정한 시선
하지만 현재 공개된 웹 데모를 보면 모델의 성능이 아직 완벽하지는 않다는 평가도 함께 나오고 있습니다. 사용자가 명확하지 않은 명령을 내렸을 때 적절한 도구를 호출하지 못하거나, 상황에 맞지 않는 매개변수를 설정하는 오류가 간혹 발생하기도 합니다.
예를 들어 방을 더 따뜻하게 해달라는 요청에 냉방 모드로 온도를 낮추는 모순된 결과를 내놓기도 했습니다. 이는 모델이 매우 작기 때문에 맥락을 이해하는 능력이 제한적일 수밖에 없음을 보여줍니다.
일부 전문가들은 더 큰 모델로 파인튜닝을 거치면 이러한 문제가 해결될 수 있다고 보지만, 14MB라는 극단적인 크기 자체가 가진 한계도 분명히 존재합니다.
기술 커뮤니티에서는 14MB라는 숫자가 왜 선택되었는지에 대한 궁금증도 제기되고 있습니다. 28MB의 램을 사용하는 14MB 바이너리가 과연 최적의 선택인지, 혹은 140MB나 1.4MB 크기의 모델이 더 효율적일 수 있는지에 대한 논의가 이어지고 있습니다.
현재로서는 최소한의 성능 요구사항을 충족하면서 크기를 극도로 줄이는 전략이 채택된 것으로 보이지만, 하드웨어 여력이 충분한 환경에서는 더 큰 모델이 더 나은 성능을 낼 가능성도 배제할 수 없습니다. 특히 피 5 같은 장비는 램 용량에 여유가 많아 14MB에 집착할 필요가 없다는 의견도 있습니다.
앞으로 주목해야 할 점은 이러한 초경량 모델이 어떻게 계층적 AI 구조의 하위 레이어로 통합될지입니다. 더 유능한 대형 모델이 작은 모델을 훈련시켜 특정 작업을 효율적으로 수행하게 하는 패러다임이 등장할 수 있습니다.
Needle2는 바로 그 가장 작은 레이어를 담당할 수 있는 잠재력을 가지고 있습니다. 오픈소스로 공개된 이 모델은 아파치 2.0 라이선스를 따르며 하ugging 페이스에서 가중치를 내려받을 수 있습니다.
저가형 기기부터 스마트 로봇, 자동차 인포테인먼트 시스템까지 적용 범위가 넓어질 것으로 예상되며, 온디바이스 AI가 단순한 트렌드를 넘어 실제 산업 표준으로 자리 잡을 수 있을지 지켜볼 필요가 있습니다.
작성자 소개
