바이두가 대규모 언어 모델 ERNIE 5.5 Flash Base를 공식적으로 공개했습니다. 이번 발표는 단순한 상용 서비스 업데이트가 아니라 개발자들이 직접 파인튜닝할 수 있는 베이스 모델의 가중치 오픈에 초점을 맞췄습니다.
모델 구조는 하이브리드 어텐션과 혼합 전문가 MoE 방식을 채택했습니다. 전체 파라미터 수는 280B에 달하지만 실제 추론 시 활성화되는 파라미터는 14B 수준으로 설계되어 연산 비용을 줄였습니다.
사전 학습에는 총 33.5T 토큰이 사용되었습니다. 기본 컨텍스트 길이는 128K이며 파인튜닝 및 추론 환경에서는 최대 1M 토큰까지 지원됩니다. 이는 긴 문맥을 다루는 에이전트 애플리케이션이나 도메인 특화 작업에 유리한 조건입니다.
기술적 특징으로는 희소 어텐션과 매니폴드 제약 하이퍼 커넥션을 꼽을 수 있습니다. 출력 헤드와 토크나이저 등 각 구성 요소에서 능력과 효율성의 트레이드오프를 재검토했다는 것이 바이두 측 설명입니다.
Hacker News 커뮤니티에서는 해당 모델의 라이선스 조건에 대한 논의가 활발히 이루어졌습니다. 특히 유럽 연합, 영국, 한국 등 특정 지역에서의 사용을 금지하는 조항이 포함되었다는 지적이 나왔습니다.
이러한 지리적 제한은 파생 모델을 배포하거나 사용하는 기업에게 법적 리스크로 작용할 수 있습니다. 바이두는 사전 학습 완료 시점의 체크포인트를 제공함으로써 후속 연구의 출발점으로 삼으려 하지만 접근성 측면에서는 논란의 여지가 남습니다.
현재 Hugging Face에도 baidu/ERNIE-5.5-Flash-Base 저장소가 생성되어 기술 사양을 확인할 수 있습니다. 다만 라이선스 동의 절차와 지역 제한 사항을 꼼꼼히 검토해야 합니다.
개발자들은 이 모델을 기반으로 자체적인 정렬 기법을 실험하거나 산업별 데이터에 적응시키는 작업을 진행할 수 있습니다. 그러나 지정된 국가 외 지역에서의 무단 사용은 계약 위반 소지가 있어 주의가 필요합니다.