셀프어텐션

알렉스 왕, 트랜스포머 구조를 기억 저장소 관점에서 재해석한 기술 블로그 공개

개발자 알렉스 왕이 선형 레이어부터 셀프 어텐션까지 각 계층을 기억 저장소로 보는 새로운 시각을 제시했습니다. 그는 간섭 대 신호 비율을 통해 모델의 용량을 설명하며, Hacker News에서 수학적 표기법 대신 의사 코드를…