Dust, 역전파 없이 트랜스포머 사전 학습하는 제로차 최적화 기법 공개
Samip Dahal과 Bishwas Mandal 등 연구진이 이끄는 Q Labs 팀이 2026년 10월, 역전파를 사용하지 않고 트랜스포머 언어 모델을 사전 학습할 수 있는 새로운 방법론인 Dust를 공개했다.
JORE2
딥러닝
최소한의 뇌, 퍼셉트론이 다시 뜨는 이유: 파이썬으로 보는 AI의 본질
복잡한 딥러닝 모델이 난무하는 시대에 오히려 가장 단순한 퍼셉트론이 주목받고 있습니다. 파이썬으로 직접 구현하며 학습 과정을 눈으로 확인하는 실험이 커뮤니티를 뜨겁게 만들고 있습니다.
스탠포드 CS336, 왜 AI 개발자들이 ‘맨손으로 언어모델’을 만드는지 주목하는가
단순히 기존 모델을 사용하는 것을 넘어, 데이터 수집부터 학습, 평가까지 전 과정을 직접 구현하는 스탠포드 CS336 과정이 글로벌 AI 커뮤니티에서 뜨거운 감자로 떠올랐습니다.
변환기 모델의 한계를 넘어선 새로운 아키텍처 인터페이스의 등장
대규모 언어 모델이 보편화되면서 정밀한 작업 수행 시 발생하는 비용과 오류 문제가 대두되고 있습니다. 인터페이스는 딥러닝의 특화 성능과 LLM 의 유연성을 결합해 OCR 과 객체 감지 분야에서 기존 모델 대비 압도적인 정확도…
확산 모델의 속도를 한 번에 잡는 ‘플로우 맵’이 주목받는 이유
수십 번의 반복 과정을 거쳐 이미지를 생성하던 확산 모델이 한 번의 계산으로 경로를 완성하는 시대가 열렸습니다. 노이즈에서 데이터로 이어지는 복잡한 적분 과정을 신경망이 직접 예측하는 기술, 플로우 맵이 왜 AI 연구자들의…
내 손으로 만드는 LLM: 왜 지금 ‘Scratch’가 트렌드가 되었나
거대 모델의 블랙박스를 뚫고자 하는 개발자들의 열기가 뜨겁습니다. 세바스찬 라슈카의 교재와 스탠포드 강의가 결합되며, 단순히 코드를 복사하는 것을 넘어 아키텍처의 본질을 이해하려는 움직임이 확산되고 있습니다.
AI 도 ‘모른다’고 말할 때, 신뢰는 시작된다
생성형 AI 가 무조건적인 확신을 보이는 현상이 산업 현장의 리스크로 지적되면서, KAIST 연구진이 뇌의 발달 과정을 모사한 새로운 학습 전략을 제시했습니다. 이는 단순한 정확도 향상을 넘어 AI 가 자신의 지식 한계를 인…
구글, 오픈 모델의 새로운 기준을 세우다: 젬마 4가 뜨는 이유
구글이 공개한 젬마 4는 단순한 모델 업데이트를 넘어 모바일과 IoT 기기에서 고성능 추론을 가능하게 하는 오픈 소스 생태계의 판도를 바꾼 사건으로 주목받고 있습니다.