블로그 작성자 제러드 지겔은 자체 LLM 프록시를 운영하지 않으면 실제 토큰 사용량과 모델 호출 현황을 파악할 수 없다고 주장했다. 그는 제공자가 보여주는 분석 패널 데이터가 엔지니어링 의사결정에 필요한 시계열 통계와 거리가 멀다고 비판했다.
지겔은 멀티 프로바이더 환경에서 가상 API 키를 통해 특정 클라이언트가 어떤 모델을 언제 호출했는지 기록하는 것이 중요하다고 강조했다. 또한 모델 전환 시 설정 초기화 없이 빠르게 대응하려면 중앙 통제 지점이 필수적이라고 덧붙였다.
하지만 이 주장은 해커뉴스 커뮤니티에서 반박에 직면했다. 한 이용자는 프록시가 생산성 라인에 직접적인 단일 장애점으로 작용할 수 있다고 지적했다. 프록시가 과부하되거나 다운되면 팀 전체의 업무가 중단될 위험이 있다는 설명이다.
대안으로는 OpenTelemetry 기반의 분산 추적이 제시됐다. Codex나 Claude Code 같은 최신 도구들은 이미 OTEL 트레이스를 출력하도록 설계되어 있다. 이를 수집기 인프라로 전송하면 툴 호출, 전체 프롬프트, 토큰 비용 등 상세한 데이터를 확보할 수 있다.
OTEL 방식은 최선 노력형으로 작동하여 일부 데이터 손실이 발생해도 업무 연속성에 영향을 주지 않는다. 반면 프록시는 모든 요청이 통과해야 하므로 구조적으로 취약할 수밖에 없다는 점이 핵심 논거였다.
또 다른 참여자는 구독제와 API 키 사용료 사이의 비용 효율성 문제를 언급했다. 월 200달러 상당의 고가 구독제를 사용하면서 주간 한도를 거의 채우는 사례를 들며, 단순 프록시 구축만으로는 해결되지 않는 경제적 딜레마를 토로하기도 했다.
현재로서는 프록시를 통한 중앙 집중식 관리와 OTEL을 이용한 비동기식 추적 중 어느 쪽이 더 실용적인지는 명확히 결론 나지 않았다. 각 도구의 기본 지원 범위와 기존 인프라 호환성에 따라 선택이 갈릴 것으로 보인다.