JORE2

IT&생활꿀팁

8,087개의 이야기
고성능 생성형 AI, 이제 일반 GPU에서도 4비트로 달린다
AI

고성능 생성형 AI, 이제 일반 GPU에서도 4비트로 달린다

수십 기가바이트의 메모리를 요구하던 최신 생성형 AI 모델이 4비트 양자화 기술로 소비자용 그래픽카드에서도 실용화되고 있습니다. 하우징페이스가 공개한 난추카쿠 기술은 메모리 효율을 넘어 추론 속도까지 개선하며 대중화의 문턱을…