MoE

스텝펀, 100만 토큰 컨텍스트 지원하는 MoE 모델 스텝5 프리뷰 공개

스텝펀이 총 파라미터 600B 규모에 활성 파라미터는 27B인 희소 Mixture-of-Experts 구조의 스텝5 프리뷰를 오픈라우터에 등록했다. 입력 100만 토큰을 처리할 수 있으며 에이전트 작업과 금융 분야 전문 지식…