애플 머신러닝 연구팀이 오픈소스 배열 프레임워크 MLX의 최신 버전을 공개했습니다. 이번 업데이트는 Apple Silicon 기반 Mac Studio 환경에서 대규모 언어 모델 추론을 수행하기 위한 기술적 진보를 담고 있습니다.
연구팀은 네 대의 Mac Studio를 RDMA over Thunderbolt 드라이버로 연결한 클러스터를 구성했습니다. 이 환경에서 파라미터 수가 약 8160억 개에 달하는 Muse Spark Open 모델을 실행했습니다. 해당 모델은 혼합 전문가 구조를 채택하고 있어 전체 파라미터 중 일부만 활성화됩니다.
실험 결과 생성 속도는 초당 36 토큰 이상으로 측정되었습니다. 이는 평균적인 인간의 독서 속도보다 빠른 수치입니다. 단일 Mac Studio는 최대 512GB의 통합 메모리를 지원하며 여러 대의 장비를 묶어 확장성을 확보했습니다.
벤치마크 비교에서는 M5 Ultra와 이전 세대인 M3 Ultra가 사용되었습니다. M5 세대는 GPU 신경 가속기를 통해 행렬 곱셈 연산을 전용으로 처리합니다. 이는 기계 학습 워크로드에 필수적인 기능입니다.
커뮤니티 반응에서는 벤치마크 조건에 대한 의문이 제기되었습니다. 일부 개발자는 Meta의 모델을 4비트 양자화 상태로 평가한 반면 Qwen 모델은 BF16 원본 상태로 비교했다고 지적했습니다. 이러한 차이는 사용자 선택과 무관할 수 있다는 의견도 나왔습니다.
또 다른 이용자는 8192 토큰 컨텍스트 길이에서의 성능 데이터라는 점을 언급했습니다. 현재 대형 모델 활용 추세에 비해 짧은 컨텍스트일 수 있다는 해석입니다. 하지만 단일 M5 Ultra 장비에서도 DeepSeek 등 다른 모델들이 원활히 작동한다는 보고도 이어졌습니다.
이번 발표는 로컬 환경에서 최신 AI 기법을 탐구할 수 있는 가능성을 보여줍니다. 다만 하드웨어 비용과 벤치마크 설정의 공정성 문제는 여전히 논의 대상입니다.