데이터 엔지니어링의 풍경이 조금씩 변하고 있습니다. 오랫동안 Databricks 나 Snowflake 같은 거대 플랫폼이 파이프라인의 중심을 장악해 왔지만, 최근 개발자들 사이에서는 이 거대한 시스템들 사이에서 데이터의 흐름을 더 정밀하게 통제하고 싶어 하는 움직임이 감지됩니다. 바로 Rust 기반의 새로운 SQL 엔진 Rocky 가 주목받는 이유입니다. 단순히 쿼리를 실행하는 것을 넘어, 데이터 파이프라인 전체를 하나의 신뢰할 수 있는 시스템으로 관리하려는 시도가 구체화되면서부터입니다.
Rocky 가 주목받는 핵심은 ‘신뢰’라는 단어에 담겨 있습니다. 기존 도구들이 제공하지 못했던 브랜치 기능, 실행 기록 재생, 그리고 열 단위까지 추적 가능한 계보 관리가 가능해졌습니다. 이는 마치 데이터가 흐르는 강물 위에서 물의 출처와 경로를 정확히 파악하고, 필요할 때 과거의 흐름을 다시 재현할 수 있게 해주는 것과 같습니다. 특히 컴파일 시점에 안전성을 보장하고 모델별로 비용을 명확히 할당할 수 있다는 점은, 대규모 데이터를 다루는 기업들에게 실질적인 효율성을 약속합니다. 데이터가 어디서 와서 어디로 가는지, 그리고 그 과정에서 얼마의 비용이 발생했는지 한눈에 파악할 수 있게 된 것입니다.
개발 커뮤니티에서는 이 도구가 단순히 새로운 기능을 추가한 것을 넘어, 데이터 거버넌스의 새로운 기준을 제시한다는 반응이 주를 이룹니다. 환경별 마스킹 처리나 감사 추적 기록, 역할 기반 접근 제어 등 데이터 보안과 규정 준수를 위한 기능들이 초기부터 통합되어 있다는 점이 특히 호평을 받고 있습니다. 많은 개발자가 dbt 나 SQLMesh 와 같은 기존 도구들의 인수합병 이후 공백이었던 모델 버전 관리와 같은 기능을 Rocky 에서 찾아냈다고 입을 모읍니다. 특히 Rust 언어의 성능과 안전성을 바탕으로 구축된 만큼, 복잡한 DAG 데이터 흐름을 안정적으로 처리할 수 있다는 기대감이 큽니다.
물론 새로운 이름에 대한 혼란이나 기존 플랫폼과의 경쟁 구도에 대한 질문도 존재합니다. 하지만 Rocky 가 제시하는 방향성은 명확합니다. 거대한 클라우드 플랫폼을 대체하기보다는, 그 안에서 데이터 파이프라인의 논리를 직접 설계하고 통제하는 ‘제어 평면’으로서의 역할을 수행하는 것입니다. 앞으로 이 도구가 어떻게 발전할지, 그리고 데이터 엔지니어링 워크플로우에 어떤 변화를 가져올지 지켜보는 것이 흥미로울 것입니다. 데이터의 흐름을 더 투명하고 안전하게 만들고자 하는 개발자들의 열망이 Rocky 라는 이름으로 구체화되고 있는 지금, 데이터 인프라의 새로운 장이 열리고 있는지도 모릅니다.
작성자 소개
