제약디코딩

vLLM 0.31 버전, 제약 디코딩으로 툴 호출 정확도 100% 달성

오픈 웨이트 모델 서빙 시 발생하는 툴 호출 오류를 해결하기 위해 vLLM 0.31이 제약 디코딩 기능을 도입했습니다. Ubicloud 팀의 벤치마크 결과 Kimi와 DeepSeek 모델에서 스키마 준수율이 100%로 개선되…