OpenTelemetry

LLM 프록시 운영을 둘러싼 개발자 간 모니터링 방식 논쟁

블로그 작성자 제러드 지겔은 자체 LLM 프록시를 운영하지 않으면 실제 토큰 사용량과 모델 호출 현황을 파악할 수 없다고 주장했다. 그는 제공자가 보여주는 분석 패널 데이터가 엔지니어링 의사결정에 필요한 시계열 통계와 거리가…