SWE-bench Verified, 더 이상 최상위 코딩 능력을 가늠할 수 없는 이유
과거 AI 모델의 코딩 실력을 판단하던 금표준 SWE-bench Verified가 이제 신뢰를 잃고 있습니다. 학습 데이터 오염과 테스트 케이스의 결함이라는 두 가지 핵심 문제가 드러나면서, 업계는 새로운 평가 기준을 모색하…
JORE2
학습 데이터 오염
1개의 이야기
JORE2
과거 AI 모델의 코딩 실력을 판단하던 금표준 SWE-bench Verified가 이제 신뢰를 잃고 있습니다. 학습 데이터 오염과 테스트 케이스의 결함이라는 두 가지 핵심 문제가 드러나면서, 업계는 새로운 평가 기준을 모색하…