데이터 패브릭(Data Fabric)

데이터 패브릭(Data Fabric)의 정의

데이터 패브릭이란 다양한 시스템에 분산되어있는 다양한 데이터를 하나의 플랫폼으로 통합시키고 이 데이터에 대해 빠르고 쉽게 접근할 수 있는 환경을 제공하는 아키텍처 기술 전략입니다. 기업 입장에서 데이터의 자산화가 가능해지고, 데이터의 통합적 관리가 용이해지는 장점이 있으며, 2022년 가트너가 선정한 12대 전략기술 중에 하나로 소개되기도 하였습니다.

 

데이터 패브릭(Data Fabric)의 등장배경

빅데이터와 클라우드의 활성화로 기업은 점점 더 다양한 플랫폼과 디바이스를 통해 데이터를 수집하고 있습니다. 이러한 환경에서 데이터 관리의 중요성은 더욱 높아지고 있습니다. 그럼에도 불구하고 데이터가 조직 전체적으로 통합되지 않는 Data Silo 문제가 발생하기도 하며, 데이터의 양만 방대하게 많아져 제대로 활용하지 못하는 사례가 늘고 있습니다. 이 때문에 데이터의 저장위치, 환경, 프로세스와 상관없이 분산되어있는 데이터를 통합 관리하기 위해 데이터 패브릭이 등장하였습니다.

 

데이터 패브릭(Data Fabric)의 이점

데이터 패브릭 환경에서는 데이터 가상화(Virtualization)을 통해 데이터의 물리적인 이동이 없이도 하나의 데이터로 통합이 가능하게 됩니다. 가상의 저장소에서 본래의 데이터를 활용할 수 있는 것입니다. 이렇게 구성된 가상화 레이어를 통해 외부에서도 빠르게 데이터에 접근이 용이해지며, 각 데이터의 속성 등을 연결하여 종합적인 데이터 카탈로그를 만들어내기도 합니다. 

 

데이터 패브릭(Data Fabric)의 활용

기업은 다양한 시스템과 소스를 통해 많은 데이터를 쌓아가고 있지만, 이를 통합하여 잘 활용하는데는 어려움이 많습니다. 데이터패브릭 아키텍처 환경의 플랫폼을 활용하면 대규모의 데이터도 수집, 탐색, 관리, 통제가 가능하니 손쉬운 데이터 수집이 가능해집니다. 또한 데이터 패브릭에서는 자동화를 바탕으로 정확한 분석 결과를 도출할 수 있게 되며, 데이터의 연결과 보안 등의 관리도 더욱 편리해집니다.

 

데이터 패브릭(Data Fabric)과 데이터 메시(Data Mesh)

데이터 패브릭과 데이터 메시는 모두 데이터의 관리와 여러 시스템에서의 유연성을 높이는 것이 목표이며, 메타데이터를 관리하는 데이터 카탈로그가 핵심적인 개념입니다. 하지만 두 아키텍처 전략의 접근 방식가 구현에는 차이가 있습니다. 데이터 패브릭은 중앙 집중화된 아키텍처이며, 전사적으로 데이터의 중심화와 통합을 중시합니다. 또한 데이터를 통합한 후에 실시간으로 데이터를 처리하고 분석할 수 있는 환경을 제공합니다. 데이터 추출부터 분석, 처리, 저장까지 일관된 하나의 인터페이스를 제공하여 조직 간의 데이터 공유를 활발히 이루어지도록 합니다. 여기서 중요한 것은 데이터 관리가 통합되는 것이지, 스토리지 자체가 통합되지는 않는다는 점입니다. 데이터 메시는 분산된 각 시스템에서 데이터가 처리되록하는 아키텍쳐이며, 데이터를 각각의 시스템에서 독립적인 서비스로 분할, 관리합니다. 각각의 데이터는 서비스 단위로 분할되어 각 서비스를 담당하는 개별 조직에서 소유 및 운영됩니다. 데이터 메시를 활용하면 각 서비스의 도메인 담당자가 자신들의 비즈니스적인 목표에 맞는 데이터셋을 생성하고 공유가 용이해집니다. 데이터 패브릭과 데이터 메시 모두 궁극적으로는 사용자의 데이터에 대한 접근성을 높이고 비즈니스의 인사이트를 발견하는데 효율적인 환경을 제공하고자 합니다. 그렇기 때문에 두 아키텍처는 배타적인 것이 아닌 상호보완적이고 공존가능한 개념입니다. 실제로 하이브리드라는 개념으로 두 아키텍쳐를 결합하여 적용하기도 합니다. 

 

발전 방향 및 시사점

앞으로 데이터 패브릭이 좀 더 활성화 되기 위해서는 데이터 카탈로그를 관리하는 기존의수작업 기반의 방식에서 머신러닝과 AI를 활용한 자동화 되고 능동적인 방식으로 변화해야 합니다. 또한 IT 운영 관점에서의 메타데이터에서 더 나아가 비즈니스 협업도 쉽게 접근, 이용가능한 비즈니스 용어로 메타데이터를 관리해야합니다. 데이터 패브릭 아키텍처는 기업의 데이터를 자산화하고 조직의 많은 사용자들이 그 환경을 통해 데이터에 쉽게 접근, 활용할 수 있게 한다는 점에서 기업 경쟁력을 높이는 데 필수적이라고 할 수 있으며, 데이터의 소스가 되는 시스템이 다양화되고 그 양이 방대해지는 현 시점에서, 데이터 패브릭과 같은 아키텍처를 잘 활용한다면 기업은 효과적으로 데이터를 수집하고 통합하며 그 데이터를 기반으로 가치있는 의사결정을 내릴 수 있을 것이라 봅니다.