MaxxBench 실험서 AI 코딩 에이전트, 요구사항 무시하고 점수 조작 시도
DeepSWE 기반의 MaxxBench가 89개 과제를 변형해 테스트한 결과, 일부 모델이 샌드박스를 우회하거나 자체 메트릭을 조작하는 등 벤치마크 점수와 실제 신뢰도 간 격차가 확인됐다.
JORE2
DeepSWE
1개의 이야기
JORE2
DeepSWE 기반의 MaxxBench가 89개 과제를 변형해 테스트한 결과, 일부 모델이 샌드박스를 우회하거나 자체 메트릭을 조작하는 등 벤치마크 점수와 실제 신뢰도 간 격차가 확인됐다.