ClickHouse의 주요 유지보수자인 Alexey Milovidov가 GitHub의 ClickBench 저장소에 pull request를 제출해 pgrust 항목을 삭제했습니다. 이 요청은 pgrust v0.4-preview 버전이 벤치마크 규칙을 위반했다는 주장에 기반하고 있습니다.
Milovidov는 pgrust가 43개의 ClickBench 쿼리에 맞춰 특별히 작성된 메커니즘을 사용했다고 지적했습니다. 각 쿼리마다 수작업으로 최적화된 커널이 포함되어 있었고, 이전 실행 결과를 재사용하는 캐시 기능이 작동했습니다. 이는 실제 데이터 스캔이 아닌 조회 테이블 방식에 가깝다는 설명입니다.
실제 성능 측정에서도 이러한 문제가 드러났습니다. 96코어 Graviton 머신에서 Q20 쿼리의 첫 실행 시간은 11.2초였습니다. 하지만 캐시를 통해 결과를 재생한 이후 실행 시간은 3~4밀리초로 급감했습니다.
공개된 수치와 실제 연산 능력 사이에 큰 격차가 존재했던 셈입니다.
pgrust 개발자는 이에 대해 억울함을 호소하며 해명글을 올렸습니다. 해당 코드는 IR 테스트용 프로브일 뿐이며, 최종 제출물은 SQL에서 Gravity IR을 거쳐 어셈블리로 변환되는 파이프라인을 따랐다고 주장했습니다. 또한 최근 더 새로운 버전인 pgrust 0.4-beta를 오픈소스로 공개해 투명성을 확보하려 했습니다.
하지만 커뮤니티 반응은 냉담했습니다. Hacker News와 GitHub 댓글란에서는 대부분 이를 벤치맥싱이나 부정행위로 보는 시각이 우세했습니다. 소수의 의견만이 새로 공개된 베타 버전을 통해 문제가 해결될 가능성을 언급했을 뿐, 기존 제출물의 신뢰성은 이미 훼손된 상태였습니다.
현재까지 확인된 사실은 pgrust의 43개 벤치마크 답변 자체는 정확하다는 점입니다. 다만 그 결과가 일반적인 데이터베이스 엔진의 수행 능력이 아니라 특정 쿼리에 대한 하드코딩된 처리 방식에서 나왔다는 것이 핵심 쟁점입니다.
ClickBench 측의 공식적인 삭제 결정 여부는 아직 확정되지 않았습니다. pgrust 0.4-beta 버전이 제시하는 성능이 향후 검증 과정에서 어떤 평가를 받을지 지켜볼 필요가 있습니다.