최근 AI 개발자 커뮤니티에서 ‘LLM 위키’라는 개념이 주목받고 있습니다. 앤드레이 카파시가 깃허브 가스트에 공유한 아이디어 파일이 그 시작점인데, 이는 단순히 문서를 검색하는 기존 방식의 한계를 지적하며 등장한 대안적 접근법입니다. 현재 대부분의 LLM 기반 시스템은 RAG 방식을 따릅니다. 사용자가 질문을 던지면 시스템이 원본 문서에서 관련 조각을 찾아내어 답변을 생성하는 방식인데, 문제는 매번 처음부터 지식을 재구성한다는 점입니다. 다섯 개의 문서를 종합해야 하는 복잡한 질문이 들어오면 매번 해당 조각들을 다시 찾아 연결해야 하므로, 지식의 축적이나 진화가 일어나지 않습니다.
이러한 배경에서 제안된 LLM 위키는 원본 소스를 직접 참조하는 대신, LLM 이 마크다운 파일로 구성된 구조화된 위키를 점진적으로 구축하고 유지하도록 합니다. 새로운 소스가 추가되면 LLM 은 이를 단순히 색인하는 것을 넘어 핵심 정보를 추출해 기존 위키에 통합합니다. 이때 엔티티 페이지를 업데이트하거나 주제 요약을 수정하며, 새로운 데이터가 기존 주장과 모순되는지 여부를 기록합니다. 즉, 지식이 한 번 컴파일되어 최신 상태로 유지되며, 교차 참조와 모순점은 미리 파악된 상태가 됩니다. 이 방식은 매번 지식을 재도출하는 것이 아니라, 위키라는 지속적이고 누적되는 산물을 통해 더 풍부한 맥락을 제공하는 것이 핵심 차이점입니다.
이 아이디어가 주목받는 이유는 개발자들이 겪고 있는 ‘맥락 오염’과 ‘기술 부채’ 문제를 해결할 가능성이 있기 때문입니다. 한 커뮤니티 사용자들은 장기간의 프로젝트에서 복잡한 사고 흐름을 이어가기 어려워지면서, 다중 에이전트 워크플로우가 마크다운 위키를 참조하는 방식을 도입했다고 전했습니다. 이는 Obsidian 같은 도구와 결합해 효율적으로 정보를 확인하면서도, 에이전트가 스스로 지식을 쌓아가게 만드는 효과적 방법론으로 평가받습니다. 특히 복잡한 LLM 프로젝트에서 아이디어가 빠르게 변모하는 상황에서 전통적인 노트테이킹이 한계를 보일 때, 이 방식이 구조화된 아이디어 관리의 대안으로 떠오르고 있습니다.
하지만 이 방식에 대한 신중한 시각도 존재합니다. 위키가 계속 업데이트되면서 2 차 정보가 재생산될 경우, 정보가 점점 더 간결하지 않게 변하거나 오류가 누적될 수 있다는 우려입니다. 일부 전문가들은 이것이 결국 ‘모델 붕괴’로 이어질 수 있으며, 검증된 정보를 바탕으로 한 단순한 재작성이 반복될 경우 본질적인 통찰력이 희석될 수 있다고 지적합니다. 또한, 소규모 팀이나 개인에게는 효과적일지 몰라도 대규모 협업 환경에서 확장성이 어떻게 발휘될지에 대한 의문도 제기됩니다. 현재로서는 이 아이디어 파일이 실제 프로젝트에서 얼마나 유연하게 적용될 수 있는지, 그리고 장기적인 지식 축적 과정에서 발생할 수 있는 오류 보정 메커니즘이 어떻게 작동할지에 대한 추가적인 검증이 필요한 시점입니다.
앞으로 주목해야 할 점은 이 패턴이 단순한 실험을 넘어 실제 개발 워크플로우에 어떻게 정착할지입니다. 초기 반응은 긍정적이지만, 기술 부채가 쌓이지 않도록 하는지, 그리고 AI 가 생성한 위키의 신뢰도를 어떻게 유지할지에 대한 논의가 이어질 것입니다. 카파시의 제안이 제시한 방향성은 LLM 이 단순한 검색 도구를 넘어, 사용자의 지식을 함께 성장시키는 파트너로 진화할 수 있는 가능성을 보여줍니다.