코딩 에이전트 성능은 모델보다 하네스 설계가 좌우한다
UNC 샬럿 연구팀이 코딩 에이전트의 성능을 결정짓는 핵심 요인이 모델 자체보다 하네스 설계에 있음을 실증했습니다. 연구진은 고정된 실행 루프를 가진 경량 하네스를 구축하고 계획, 행동 공간, 컨텍스트 관리 세 가지 구성 요…
JORE2
SWE-bench
SWE-bench Verified, 더 이상 최상위 코딩 능력을 가늠할 수 없는 이유
과거 AI 모델의 코딩 실력을 판단하던 금표준 SWE-bench Verified가 이제 신뢰를 잃고 있습니다. 학습 데이터 오염과 테스트 케이스의 결함이라는 두 가지 핵심 문제가 드러나면서, 업계는 새로운 평가 기준을 모색하…