인공지능 에이전트가 복잡한 작업을 수행할 때 가장 큰 걸림돌은 지식 부족이 아니라 신뢰성 있는 실행입니다. 여러 앱을 오가며 주문을 조정하거나 계산을 분할하는 과정에서 모델은 API 호출 순서를 잘못 파악하거나 잘못된 값을 반환하는 실수를 반복합니다.
이러한 실수는 모델이 해당 도구를 모아서서가 아니라, 어떻게 안정적으로 활용해야 하는지 내부화하지 못했기 때문에 발생합니다. 최근 하우징페이스 블로그를 통해 공개된 IBM 연구진의 논문은 에이전트가 자신의 과거 수행 기록에서 교훈을 추출해 추론 시 다시 활용하는 두 가지 시스템을 비교하며 주목을 끌고 있습니다.
## 에이전트 메모리의 두 가지 형태
에이전트가 스스로의 수행 궤적을 학습 자료로 삼는 방식은 ACE 와 ALTK-Evolve 두 가지로 나뉩니다. 두 시스템 모두 에이전트의 과거 경험을 재사용 가능한 교훈으로 변환하고 이를 추론 단계에서 피드백한다는 공통점을 가집니다.
중요한 것은 모델의 가중치를 업데이트하거나 인간이 라벨을 붙이지 않아도 된다는 점입니다. 하지만 두 시스템이 교훈을 저장하고 전달하는 방식에서는 명확한 차이가 존재합니다.
ACE 는 학습된 교훈을 하나의 종합적이고 진화하는 플레이북으로 조직화합니다. 반면 IBM 이 제안한 ALTK-Evolve 는 개별적으로 검색 가능한 가이드라인 형태로 교훈을 통합합니다.
이러한 구조적 차이는 실제 토큰 비용에 직접적인 영향을 미칩니다. ACE 방식은 모든 교훈을 하나의 큰 컨텍스트에 담기 때문에 작업이 복잡해질수록 컨텍스트가 무너지는 현상이 발생할 수 있습니다.
특히 모델이 전체 컨텍스트를 다시 쓰도록 요청받을 때 발생하는 컨텍스트 콜랩스는 토큰 소모를 급증시키는 주범이 됩니다. ALTK-Evolve 는 필요한 가이드라인만 선택적으로 불러와 사용하기 때문에 불필요한 토큰 낭비를 방지합니다.
같은 교훈이라도 어떤 용기에 담느냐에 따라 비용 효율이 달라지는 셈입니다.
## 토큰 효율성을 위한 새로운 기준
실제 시나리오에서 에이전트가 실패하는 이유는 대부분 API 페이지를 잘못 나누거나, 잘못된 사람을 해결하거나, 요구되지 않은 값을 반환하는 경우입니다. 모델은 API 자체를 알고 있지만 이를 안정적으로 사용하는 법을 내면화하지 못했습니다.
두 시스템 모두 이러한 실패 모드를 정확히 지적하며 brevity bias 와 컨텍스트 콜랩스를 주요 문제로 꼽습니다. brevity bias 는 최적화 과정에서 짧고 일반적인 지시문으로 수렴하려는 경향을 의미하며, 컨텍스트 콜랩스는 모델이 전체 컨텍스트를 다시 쓰도록 요청받을 때 발생하는 현상입니다.
IBM 연구진은 ALTK-Evolve 가 개별 가이드라인을 통해 이러한 문제를 해결했다고 설명합니다. 전체 플레이북을 매번 다시 읽는 대신 필요한 부분만 검색하여 적용함으로써 토큰 비용을 크게 절감할 수 있습니다.
이는 에이전트가 장기적으로 더 많은 작업을 수행할수록 비용 차이가 극명해지는 효과를 가져옵니다. 특히 다단계 작업을 수행하는 에이전트에게 토큰 효율성은 단순한 비용 문제를 넘어 시스템의 확장성을 결정하는 핵심 요소가 됩니다.
이러한 변화는 에이전트 시스템 설계에 새로운 기준을 제시합니다. 단순히 성능만 높이는 것이 아니라, 학습된 지식을 어떻게 효율적으로 재사용할지 고려해야 합니다.
앞으로는 에이전트가 스스로 학습한 경험을 얼마나 가볍게 저장하고 빠르게 검색할 수 있는지가 경쟁력이 될 것입니다. 토큰 비용이 낮아지면 더 복잡한 작업을 더 많은 사용자가 부담 없이 시도할 수 있게 됩니다.
이는 인공지능 에이전트가 일상적인 업무로 자연스럽게 자리 잡는 데 중요한 전환점이 될 것입니다.
앞으로 주목해야 할 점은 개별 가이드라인 방식이 얼마나 다양한 작업 유형에서 확장성을 보일지입니다. 단순한 작업뿐만 아니라 복잡한 논리적 추론이 필요한 경우에도 효율적인지 검증이 필요합니다.
또한 개별 가이드라인 간의 충돌을 어떻게 해결할지도 중요한 과제가 됩니다. 두 시스템의 비교를 통해 우리는 에이전트 메모리 설계의 방향성을 명확히 볼 수 있습니다.
토큰 효율성을 높이는 기술이 발전할수록 인공지능 에이전트의 실용성은 한층 더 높아질 것입니다.
작성자 소개
