UNC 샬럿 연구팀이 코딩 에이전트의 성능을 결정짓는 핵심 요인이 모델 자체보다 하네스 설계에 있음을 실증했습니다. 연구진은 고정된 실행 루프를 가진 경량 하네스를 구축하고 계획, 행동 공간, 컨텍스트 관리 세 가지 구성 요소를 변형하여 비교했습니다.
실험은 SWE-Bench Verified와 Terminal-Bench 2.1 벤치마크에서 네 가지 모델을 대상으로 진행되었습니다. 총 176개의 매칭된 설정을 통해 컨텍스트 관리 전략 5종과 컨텍스트 윈도우 예산 4종을 평가했습니다. 연구 결과 컨텍스트 윈도우 예산이 줄어들수록 컨텍스트 관리의 가치가 높아지는 것으로 나타났습니다.
특히 컨텍스트 관리의 이점은 대부분 컨텍스트 오버플로 실패를 방지하는 데서 발생했습니다. 규칙 기반 생략을 LLM 기반 요약보다 먼저 적용하는 방식이 가장 높은 효율성을 보였습니다. 생략된 내용을 복원 가능하게 만드는 장치는 모델이 거의 사용하지 않아 정확도 향상에 기여하지 못했습니다.
계획 기능의 역할은 모델의 능력에 따라 달라졌습니다. 약한 모델에게는 정확도를 높이는 발판이 되었지만, 강한 모델에게는 정확도 변화 없이 비용만 절감하는 도구로 작용했습니다. 사전 정의된 도구는 bash 능력이 약한 모델의 성능을 개선하는 데 도움을 주었습니다.
반면 bash 능력이 뛰어난 모델은 bash 전용 인터페이스로도 효과적으로 작동했습니다. 이 경우 비용이 현저히 낮아졌습니다. 특히 명령줄 중심 작업에서 bash 전용 방식이 더 큰 코드 작성 단위와 적은 상호작용을 가능하게 했습니다.
트래젝토리 분석을 통해 이러한 효과의 원인을 파악했습니다. 컨텍스트 관리는 에이전트의 행동을 크게 바꾸지 않으면서 실행 트래젝토리를 연장했습니다. 계획 기능은 트래젝토리가 멈추는 지점을 변경했습니다.
행동 공간은 코드가 작성되는 세분화 수준을 조절했습니다.
Hacker News에서는 이 연구에 대해 195점의 높은 관심과 56개의 댓글이 달리며 논의가 이어졌습니다. 일부 사용자는 복잡한 하네스가 항상 단순한 에이전트를 능가하지는 않는다는 점을 지적했습니다. 또한 최신 프론티어 모델들이 연구 대상에서 제외된 점을 한계로 꼽았습니다.
작성자 소개
