샌프란시스코, 캘리포니아--(뉴스와이어)--글로벌 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)가 6월 2일~5일(현지 시각) 미국 샌프란시스코에서 열리고 있는 ‘스노우플레이크 서밋 2025’에서 새로운 데이터 이동 서비스 ‘스노우플레이크 오픈플로우(Snowflake Openflow)’를 공개했다.

스노우플레이크 오픈플로우는 멀티모달 데이터를 스트리밍 방식으로 전송하는 ‘인제스천(ingestion)’ 서비스로, 상호운용성을 지원하며 데이터들을 쉽게 통합하고 연결한다. 사전 구축된 확장 가능한 커넥터를 통해 고객들은 AI 모델, 앱, 데이터 에이전트를 스노우플레이크 플랫폼에서 직접 통합할 수 있게 된다. 이로써 단절된 데이터 스택과 반복적인 수작업을 제거하고 데이터 이동 과정을 간소화해 기업들이 더욱 빠르게 AI 기반 혁신을 실현할 수 있도록 한다.

오픈플로우는 개방형 표준 기반으로 설계돼 특정 벤더에 종속되지 않고 다양한 아키텍처와 유연하게 연동된다. 아파치 나이파이(Apache NiFi™)를 기반으로 구동돼 시스템 간 데이터 흐름을 자동화해 데이터 엔지니어는 몇 분 만에 커스텀 커넥터를 생성하고 스노우플레이크의 관리형 플랫폼에서 실행할 수 있다. 이로써 고객은 데이터 라이프사이클 전반에 걸쳐 데이터를 효과적으로 활용할 수 있으며, 변화하는 데이터 표준과 비즈니스 요구에도 유연하게 대응할 수 있다.

오픈플로우는 고객이 선택한 클라우드 환경에서 운영할 수 있는 BYOC (Bring Your Own Cloud) 배포 모델로 현재 AWS 환경에서 정식 출시(GA)됐다. 수백 개의 사전 구축된 커넥터와 프로세서를 기반으로 박스(Box), 구글 애즈(Google Ads), 프루프포인트(Proofpoint), 서비스나우(ServiceNow), 워크데이(Workday), 젠데스크(Zendesk) 등 타사 데이터 소스는 물론 클라우드 오브젝트 스토리지와 메시징 플랫폼 등 여러 목적지 간의 통합을 간편하고 빠르게 구현할 수 있다. 또한 정형, 비정형, 배치, 스트리밍 데이터 등 모든 데이터를 지원한다.

기업이 AI를 도입하기 위해서는 정제된 데이터에 빠르게 접근할 수 있는 환경을 구축하는 것이 중요하다. 하지만 아직까지 많은 데이터 엔지니어들이 유연하지 않은 데이터 파이프라인, 분산된 데이터 스택, 제한된 리소스로 AI 플랫폼을 구축하는 데 어려움을 겪고 있다. 기존 데이터 통합 방식으로는 생성형 AI가 요구하는 규모·속도·데이터 다양성을 쫓아가지 못하는 현실이다. 150억달러 규모로 추산되는 시장을 겨냥한 스노우플레이크 오픈플로우는 온프레미스와 클라우드를 포함한 다양한 소스의 데이터를 연결하는 순간부터 고객을 지원함으로써 이러한 장애 요소들을 제거한다.

스노우플레이크 크리스 차일드(Chris Child) 제품 부문 데이터 엔지니어링 담당 부사장은 “점점 더 많은 기업들이 ‘AI 퍼스트’ 전략을 채택하고 있고, 이를 위해서는 모든 데이터를 단일 플랫폼에서 유기적으로 활용할 수 있는 환경이 필수적”이라며 “오픈플로우는 개방형이면서도 확장 가능한 통합 프레임워크를 기반으로 해 고객이 데이터를 분산시키지 않고도 AI 애플리케이션과 에이전트를 빠르게 구축할 수 있도록 지원한다”고 말했다.

현재 금융정보업체 팩트세트(FactSet)의 자회사 어윈(Irwin), 보안업체 시큐로닉스(Securonix), 소프트웨어 업체인 워크웨이브(WorkWave) 등의 기업들이 오픈플로우를 통해 거버넌스를 유지하면서 데이터를 확장하고 AI 혁신 기반을 다지고 있다.

스노우플레이크는 오픈플로우와 더불어 데이터 파이프라인 구축과 운영 효율성을 높일 수 있는 다양한 신규 기능을 선보이며 데이터 엔지니어링 역량을 고도화하고 있다. 이를 통해 고객은 기존의 기술 및 워크플로우를 강화하고, 한층 효율적으로 활용할 수 있다.

· 데이터 파이프라인을 더 빠르게 구축·배포·최적화: 스노우플레이크는 자사의 자동화 및 관리형 서비스와 대표적인 오픈소스 데이터 변환 워크플로우 도구 dbt (data build tool)를 결합해 고객이 dbt 프로젝트를 스노우플레이크 내에서 직접 구축, 실행, 관리할 수 있도록 지원한다. 이를 통해 고객은 인프라 유지보수에 대한 부담 없이 분석 인사이트 도출에 집중할 수 있다. dbt 프로젝트는 ‘스노우플레이크 워크스페이스(Snowflake Workspaces)’라는 새로운 파일 기반 개발 환경 내에서 제공되며, AI 코파일럿 기반 코드 추천, 네이티브 Git 통합, 시각적 코드 변경 비교 등의 기능을 포함한다.

· 연결성과 개발성을 갖춘 레이크하우스로 데이터 중앙화: 스노우플레이크는 고객이 개방형 레이크하우스 구조를 하나의 통합된 뷰로 구성할 수 있도록 지원한다. 스노우플레이크의 고성능 엔진을 통해 대부분의 아파치 아이스버그 테이블(Apache Iceberg™ table)을 활성화할 수 있으며 베리언트(VARIANT) 타입 기반의 반정형 데이터 지원 확대, 파일 크기 및 파티션 최적화 기능을 통해 아이스버그 데이터를 보다 정교하게 분석할 수 있다. 이 모든 과정은 보안, 거버넌스, 데이터 통제권을 유지한 상태에서 이뤄진다.

· 고성능 스트리밍 인제스트 기능 지원: 신규 아키텍처 기반의 스노우파이프 스트리밍(Snowpipe Streaming) 기능으로 스노우플레이크 오픈플로우는 초당 최대 10GB의 스트리밍 데이터를 수집해 5~10초 이내에 쿼리 가능한 상태로 전환하는 초저지연 처리 성능을 제공한다. 이를 통해 스트리밍 기반 실시간 데이터 처리 환경에서도 강력한 성능을 확보할 수 있다.

더 알아보기

· 스노우플레이크 오픈플로우가 AI 시대의 데이터 이동 방식을 어떻게 혁신하고 있는지에 대해 더 자세한 내용은 블로그에서 확인할 수 있다.

· dbt 프로젝트, 오픈 레이크하우스 기능 확장 등 스노우플레이크의 데이터 엔지니어링 역량 확대 방안에 대한 자세한 내용도 블로그에서 확인할 수 있다.

· ‘스노우플레이크 써밋 2025(Snowflake Summit 2025)’에서 발표된 다양한 혁신과 주요 발표 내용은 스노우플레이크 뉴스룸에서 확인할 수 있다.

· 스노우플레이크 공식 링크드인과 X에서 최신 뉴스와 공지사항을 확인할 수 있으며, #SnowflakeSummit 해시태그를 통해 실시간 업데이트도 확인할 수 있다.