2026 년 3 월 5 일, 영화 산업의 데이터 표준으로 불리던 더넘버즈가 갑자기 웹사이트 전체를 오프라인으로 내렸다. 78,000 편 이상의 영화와 23 만 6 천 명의 인물을 추적해 온 이 사이트는 연간 800 만 명 이상의 방문자를 기록하며 저널리스트부터 학계, 예측 시장까지 폭넓은 신뢰를 받아왔다.
그런데 어느 날 아침 접속한 사용자는 방대한 역사 차트와 개별 영화 페이지가 사라진 채 단순한 재구축 안내 문구만 마주하게 되었다. 일주일 넘게 침묵하던 사이트가 돌아왔을 때 그 규모는 이전의 한참 작은 수준으로 축소되어 있었고, 많은 사람이 혼란과 분노를 표출하며 다양한 음모론을 제기하기 시작했다.
## AI 크롤러가 불러온 디지털 인프라의 붕괴
이번 사태의 핵심 원인은 단순한 서버 장애가 아니라 인공지능 기반 크롤러들의 과잉 접근으로 인한 비용 폭증이었다. 최근 몇 년 사이 웹상에서 작동하는 AI 에이전트들이 더넘버즈의 방대한 데이터를 수집하기 위해 페이지를 수없이 반복해서 훑어내려 했다.
한 해커 뉴스 사용자는 과거 코로나 팬데믹 기간 미국 정부 지원금을 추적하던 사이트 사례를 들며, AI 가 효율성을 명분으로 전체 HTML 을 파싱하는 과정에서 네트워크 입출력 비용이 급증해 사이트 운영 자체가 불가능해진 상황을 지적했다. 더넘버즈 역시 무료 공개 데이터에 대한 접근성이 높을수록 AI 가 이를 무한히 소진하는 구조에 놓이게 되었고, 이는 예상치 못한 재정적 부담으로 이어졌다.
브루스 내시 더넘버즈 설립자는 이 과정에서 수많은 이용자가 과거 페이지가 어디로 갔는지 묻는 격한 이메일을 받았다고 회상했다. 1997 년 지오시티스에서 300 편의 영화 데이터를 추적하며 시작된 이 프로젝트는 20 년 넘게 수작업으로 데이터를 정리해 온 고유의 가치를 지녀왔다.
하지만 디지털 환경이 급변하면서 이러한 수동적 데이터 수집 방식은 자동화된 AI 의 공격적인 크롤링에 비해 너무 취약해졌다. 특히 예측 시장이나 학술 연구에 필수적인 데이터가 갑자기 사라지자 업계 전체가 당황할 수밖에 없었고, 이는 단순한 기술적 문제를 넘어 데이터 접근성의 불안정성을 드러내는 계기가 되었다.
## 데이터 플랫폼의 생존 전략과 앞으로의 전망
사태가 발생한 지 3 개월 뒤 브루스 내시는 사이트의 재구축 방향에 대해 설명하며 과거의 방대한 아카이브를 그대로 유지하기보다는 효율적인 구조로 전환하고 있음을 시사했다. 일부에서는 사이트가 유료 제품을 밀어내기 위해 고의로 무료 기능을 축소하는 전략적 리깅을 했다는 추측도 있었으나, 실제 배경은 AI 시대에 맞는 인프라 비용 최적화에 더 가까웠다.
이를 해결하기 위해 정적 사이트 생성기를 도입하거나 봇 인지형 CDN 을 활용하는 등의 기술적 개편이 필요하다는 의견이 전문가들 사이에서 제기되고 있다.
더넘버즈의 사례는 단순히 한 웹사이트의 운명에 그치지 않고 전 세계 데이터 플랫폼이 직면한 구조적 위기를 보여준다. 무료로 공개된 방대한 데이터를 AI 가 무상 소진하는 현상은 웹 생태계 전반에서 발생하고 있으며, 운영자가 이를 감당할 수 있는 수익 모델을 찾지 못하면 서비스 자체가 사라질 위험에 처하게 된다.
앞으로는 데이터 제공자와 AI 크롤러 간의 공존을 위한 새로운 비용 분담 모델이나 접근 제한 정책이 어떻게 수립될지가 중요한 관전 포인트가 될 것이다.
이번 사태를 통해 우리는 디지털 시대의 데이터가 얼마나 취약한지 다시 한번 깨닫게 되었다. 과거에는 웹 사이트가 영구적으로 존재할 것이라는 믿음이 강했지만, 이제는 기술적 환경 변화와 비용 구조에 따라 언제든 사라질 수 있음을 알게 된 셈이다.
더넘버즈가 새로운 형태로 다시 태어나더라도 이전과 같은 방대한 역사적 데이터를 무료로 제공해 줄 수 있을지는 불투명하다. 사용자와 업계는 이제 데이터의 가치를 재평가하고, 지속 가능한 데이터 생태계를 위해 어떤 변화가 필요한지 고민해야 할 시점에 서 있다.
작성자 소개
