혼합전문가모델

거대 모델의 비효율 탈출, EMO가 가져온 ‘진짜’ 모듈러의 시대

수조 개의 파라미터를 가진 거대 언어 모델이 실제 업무에서는 과잉이라는 지적이 끊이지 않았습니다. AllenAI 가 공개한 EMO 는 인간이 정의한 규칙 없이 데이터 자체에서 모듈러 구조가 자연스럽게 emerge 하도록 설계…