지난 글에 이어 이번 글에서는 분산 관리 기능을 필요로 하는 분산 데이터 처리를 위한 엣지 시스템 구축과 엣지시스템 환경을 지원하는 데이터 처리 기술·아키텍처 선택에서의 고려할 점에 대해 알아본다.

데이터가 엣지에서 저장-처리되는 경우 다양한 데이터 관리 기능 역시 엣지에서 실행 가능해야 한다. 이상적으로는 최신 데이터 관리 인프라의 각 요소, 즉 데이터를 표시·구성·통합·공유·관리하는 각 기능들이 엣지 디바이스, 혹은 데이터가 위치한 가까운 지점에서 구현 혹은 실행되어야 한다.

1. 표시: 인프라는 사물 내 데이터의 형식, 위치, 민감도, 사용법, 기타 다양한 측면을 표현하면서 엣지 디바이스로부터 메타데이터를 수집할 수 있어야 한다. 메타데이터는 엣지에서 사용되거나 액세스되면서 보다 자율적인 사물의 동작을 지원해야 한다.

2. 구성: 관리되고 통제된 방식으로 데이터를 구조화하고 저장하는 능력은 기존 환경을 벗어나 클라우드와 엣지로 확장되어야 한다. 분산 데이터베이스·처리와 엣지 환경에서 실행할 수 있는 내장형 데이터베이스 기능이 필요하다.

3. 통합: 데이터가 엣지 디바이스와 게이트웨이에서 생성·소비되는 경우, 통합 인프라는 한층 다양한 플랫폼과 엔드포인트 유형에 연결돼야 한다. 스트림 중심형 처리 기술을 통해 데이터를 처리하고, 엣지 디바이스 전반에서 데이터 수집을 실시간으로 지원할 수 있어야 한다.

4. 공유: 데이터 관리 기능은 데이터를 분석 애플리케이션과 IT시스템은 물론 엣지 디바이스로 다시 프로비저닝하는 작업을 지원해야 한다. 많은 사용 사례에서 관련 데이터를 물리적으로 수집하는 기능을 배제하기 때문에 데이터 가상화 기술은 중요해질 것이다.

5. 관리: 데이터가 고도로 분산된 플랫폼에 저장돼 있으면 거버넌스 위험이 증가한다. 데이터 관리 인프라는 데이터 품질, 보안, 개인정보보호, 보존을 위한 분산 거버넌스 제어와 관리를 지원하도록 확장돼야 한다. 즉, 거버넌스는 데이터에 보다 가까운 곳에서 이뤄져야 한다.

6. 구현: 최신 데이터 관리 인프라의 핵심은 데이터 처리를 데이터가 위치한 곳에서 수행하는 것이다. 사용사례 SLA를 충족하고 리소스를 최적화할 수 있는 위치에서 어떤 처리가 이뤄져야 하는지 동적으로 결정하는 것이다.

이는 다른 모든 공통 데이터 관리 기능이 엣지 디바이스 상의 온보드 프로세스부터 게이트웨이, 클라우드, 기존 IT 시스템 환경에 이르기까지 사실상 아키텍처 내 어디에서나 작동할 수 있음을 의미한다.

기존의 데이터 관리에 적용했던 아키텍처 원칙과 마찬가지로, 대부분의 기업에서 지원하는 기술 기능은 분산 데이터 처리에 적합하지 않다. 데이터베이스, 데이터 통합, 거버넌스, 변경 관리 기능은 대체로 데이터가 저장소 중심 아키텍처로 수집된 후 처리될 것이란 가정아래 적용되어 왔다.

엣지컴퓨팅을 비롯한 새로운 분산 요구사항을 지원하기 위해 이러한 데이터 관리 인프라 기능을 조정하는 것은 어려운 일이다. 데이터·분석 리더들은 완전히 새로운 기술 구성 요소를 도입하는 등 다양한 방법으로 데이터 관리 인프라 기능을 현대화해야 하는 도전과제에 직면해 있다. 그리고 이는, 최신 데이터 관리 인프라의 공통기능 모든 부분에 영향을 주게 될 것이다.

우리는 클라우드 기반 데이터 저장소와 분산 병렬 처리 플랫폼, 내장형 데이터베이스 기술로 데이터 지속 기능이 필요한 상황임을 알 수 있다.

특히 엣지에서 게이트웨이, 클라우드, 백오피스까지 데이터의 원활한 처리와 변환-흐름-액세스를 지원할 수 있는 통합 관련 기능의 조합은 매우 중요하다. 엣지에 있는 사물이나 게이트웨이와 같이 데이터가 생성·사용되는 지점과 가까운 곳에서 데이터 관리 거버넌스 관행과 제어를 적용해야 함을 알 수 있다.

엣지컴퓨팅과 기타 분산 환경은 데이터 관리 기술 제공업체들의 역량에 도전할 것이다. 결국 데이터·분석 리더들은 관련 기술 시장을 어떻게 탐색할지 보다 면밀히 조사해야 한다.

데이터 관리 인프라에 대한 요구사항은 고도로 분산된 데이터와 데이터 처리를 지원하도록 변화했다. 지난 몇 년간 여러 업체들이 다양한 처리 플랫폼을 지원하도록 발전해 왔지만, 최신 데이터·분석 사용 사례의 토대가 되고 있는 엣지컴퓨팅 환경을 지원하는 업체는 드물다.

데이터·분석 리더들은 분산 아키텍처를 위한 새로운 요구사항을 반영해 데이터 관리 기능을 제공하는 업체들을 평가해야 한다. 엣지컴퓨팅 환경과 게이트웨이가 포함된 분산 플랫폼을 지원하는지, 혹은 이에 대한 향후 계획이 있는지 여부는 업체와 도구를 선택할 때 높은 우선순위로 고려해야 한다.

분산 데이터 처리·관리 능력을 바탕으로 현재 업체와 잠재적 업체를 평가할 수 있어야 하며, 엣지 운영체제와 게이트웨이에서 실행되거나 상호 운용될 수 있는 기능처럼 특정 엣지컴퓨팅 요구사항에 대한 업체의 역량을 평가할 수 있어야 한다.

글 : 테드 프리드먼(Ted Friedman) / 수석애널리스트 / 가트너