개발자 Vaibhaav Tiwari가 DeepSeek V3의 복잡한 아키텍처를 단 190줄의 순수 JAX 코드로 재구현한 프로젝트를 공개했습니다. Flax나 Equinox 같은 고수준 라이브러리는 물론 PyTorch 의존성도 배제한 이번 시도는 멀티 헤드 잠재 어텐션과 DeepSeekMoE, 그리고 다중 토큰 예측 기능을 모두 포함합니다.

이 프로젝트는 MacBook Air M5 환경에서 검증되었습니다. 총 3620만 파라미터 규모에 토큰당 활성 파라미터는 1360만 개 수준입니다. 저자는 퍼블릭 도메인 추리 소설 207권을 데이터셋으로 활용했으며, 12000 스텝 동안 약 9800만 토큰을 처리하는 데 소요된 시간은 대략 2.6시간이었습니다.

학습 결과로서 검증 손실 값은 3.51까지 떨어졌습니다. 특히 주목할 부분은 보조 손실 없는 균형 조정 기법입니다. 전문가 라우팅 편향을 통해 초기 단계에서 0.09퍼센트에서 18.6퍼센트까지 벌어졌던 부하 분포를 5.7퍼센트에서 6.9퍼센트 범위로 안정화시켰습니다.

이는 이상적인 균등 분포인 6.25퍼센트에 근접한 수치이며, 검증 손실에는 거의 영향을 주지 않았습니다.

Hacker News 커뮤니티에서는 이 코드베이스가 교육 자료로서 가치가 높다는 반응이 이어지고 있습니다. 한 사용자는 AMD RX 7600 XT 그래픽 카드와 ROCm 환경을 조합해 해당 프로젝트를 성공적으로 실행했다고 보고했습니다. Fedora 45 기반의 컨테이너 환경에서 특정 환경 변수 설정만으로 CUDA 없이도 구동 가능함을 확인한 사례입니다.

다만 저자는 이 모델이 강력한 언어 모델이라기보다 아키텍처 데모에 가깝다고 명확히 선을 그었습니다. 실제 상용 LLM 수준의 성능을 기대하기보다는, MoE 라우팅 로직이나 MLA 구현 방식을 이해하기 위한 참고용으로 접근해야 합니다. 현재 GitHub 저장소에는 ROCm 호환성을 개선하는 PR이 논의 중이며, 추가적인 최적화 여부는 아직 확정되지 않았습니다.