CODA

트랜스포머의 숨통을 틔운 CODA: 메모리 병목에서 해방된 AI 학습의 새로운 지평

트랜스포머 모델 학습의 속도를 결정짓는 핵심 병목이 단순한 연산이 아닌 데이터 이동에 있다는 사실, CODA가 이를 GEMM 연산의 끝부분에 통합해 해결하며 AI 개발 패러다임을 바꾸고 있습니다.