vLLM 0.31 버전, 제약 디코딩으로 툴 호출 정확도 100% 달성
오픈 웨이트 모델 서빙 시 발생하는 툴 호출 오류를 해결하기 위해 vLLM 0.31이 제약 디코딩 기능을 도입했습니다. Ubicloud 팀의 벤치마크 결과 Kimi와 DeepSeek 모델에서 스키마 준수율이 100%로 개선되…
JORE2
vLLM
vLLM 의 내부 구조가 공개되며 AI 추론 엔진의 새로운 기준이 되다
고성능 LLM 추론 시스템의 핵심인 vLLM 의 내부 구조가 상세히 공개되면서 개발자 커뮤니티의 이목이 집중되고 있습니다. 페이지드 어텐션과 연속 배치 같은 기술이 어떻게 작동하는지, 그리고 멀티 GPU 환경에서의 확장성까지…
vLLM V1로 넘어가는 길: RL 학습의 정확성이 먼저인 이유
강화학습 시스템에서 추론 엔진의 미세한 차이가 학습 동력을 완전히 바꿔버릴 수 있다는 사실이 vLLM V1 마이그레이션 과정에서 재확인되었습니다. ServiceNow-AI의 사례는 단순히 버전 업을 넘어, 로그확률 계산의 일…