엣지(Edge) 디바이스에서 생성되는 데이터가 점점 늘어나면서 중앙에서 처리하기에는 규모가 너무 커진 상태로, 데이터 아키텍처는 점점 더 분산화 될 것이다. 산업계에서는 중앙집중식 아키텍처가 더 이상 유효하지 않을 것으로 예상하고 있다.

가트너는 앞서 향후 몇 년간 훨씬 더 많은 양의 데이터가 기존 데이터센터와 클라우드보다 네트워크 엣지에서 생성·처리될 것으로 전망한 바 있다. 이러한 분산 데이터 아키텍처가 주목받으면서 데이터 처리를 위해 중앙에서 수집하는 방식과 로컬에서 처리될 데이터를 연결함으로써 각자 균형을 맞추는 기술에 투자하고 있다.

하지만 '분산된 연결 패러다임'은 많은 어려움이 따른다. 예를 들어, 데이터가 엣지에 보관된다면 어떤 형태로 저장되어야 할 것인지, 거버넌스 제어는 어떻게 시행되어야 하는지, 다른 데이터와의 통합은 어떤 식으로 이뤄지는지 등의 문제를 들 수 있다.

이러한 어려움을 해결하기 위해 핵심 데이터 관리 기능인 데이터 자산 표시-구성-통합-공유-관리로 이어지는 방식의 현대화가 필요하다. 중요한 조건은 데이터 관리 기능이 엣지 컴퓨팅의 개념을 지원하도록 하는 것이다.

데이터 관리가 모두 엣지에서 이뤄져야 할 필요는 없다. 하지만 최신 사용 사례의 예시에서 알 수 있듯, 앞으로는 그렇게 진행될 것이다.

IoT 솔루션 아키텍처를 포함한 최신 디지털 비즈니스 애플리케이션은 고도로 분산된 특성을 갖는다. 이 때문에 대부분의 기업들은 미처 대비하지 못한 규모의, 복잡한 데이터를 관리하고 처리해야 하는 어려움에 직면하고 있다.

데이터·분석 사용 사례와 솔루션은 현재 데이터·분석 리더가 보유한 데이터 관리 기능을 뛰어 넘는 새로운 분산 데이터 아키텍처를 요구한다.

지난 수 십 년간 기업은 대체로 중앙집중화 아키텍처 기반으로 데이터를 처리해왔다. 일반적으로 데이터·분석 사용 사례를 위해서는 처리위치로 데이터를 가져와야 했다. 즉 중앙에서 데이터를 수집해 처리한 후, 인사이트 창출-의사결정-시행-도출 순의 가치를 창출해왔던 것이다.

하지만 최신 산업계의 데이터·분석 사용 사례는 이 같은 기존 아키텍처를 뛰어넘는 효율적인 기술이 요구되고 있다. 즉 데이터는 더 이상 중앙집중화된 IT시스템에 의해서만 생성되는 것이 아니며, 이러한 시스템 내에서만 사용되거나 공유되지도 않는다.

더 많은 데이터가 엣지 디바이스, 즉 사물인터넷(IoT)의 사물(Things)에서 생성되고 있다. 이 디바이스들은 즉시 의사 결정을 내리거나 자율행동에 나서는 등 디바이스의 상태를 자주 변화시켜야 한다.

자율주행차나 산업용 장비에 탑재된 안전제어 기능이 그 예시다. 결과적으로 데이터와 데이터 처리는 아키텍처 내 모든 지점에서 일어날 수 있다. 이러한 요구사항은 IoT의 규모와 속도, 데이터 다양성의 문제와 더불어 다양한 사용 사례에서 데이터가 엣지 디바이스나 그 근처에 저장될 것임을 의미한다.

데이터 처리는 이전처럼 일부 중앙영역에서 이뤄지는 것이 아니라 엣지에서 이뤄지게 된다. 데이터·분석 리더들은 데이터 아키텍처 계획과 이를 지원하는 데이터 관리 기능을 확장하고 필요하다면 엣지 디바이스나 가까운 장치에서 데이터를 저장하거나 처리할 수 있어야 한다.

우리는 분산 데이터 아키텍처가 시대적 요구사항으로 빠르게 자리잡고 있다는 점을 인정해야 한다.

무엇보다도 분산 데이터 저장소가 포함되도록 데이터 아키텍처를 확장하고 데이터 관리 기능이 분산형 플랫폼과 디바이스에서 실행되도록 적용시켜 이에 대응하는 계획을 마련해야 한다. 중앙집중화된 저장소 중심적인 아키텍처 원칙은 최신 사용 사례 지원 능력을 제한할 뿐이다.

아울러 계획에 분산 데이터 아키텍처와 분산 데이터 관리 기능을 포함시켜야 한다. 기업의 데이터 아키텍처 비전에는 데이터가 언제 어디서 엣지 디바이스나 근처에 저장되는지에 대한 결정과 지침을 비롯해 데이터 처리·관리 방식이 명시적으로 포함돼야 함을 인식해야 한다.

글 : 테드 프리드먼(Ted Friedman) / 수석애널리스트 / 가트너