아마존웹서비스(AWS)가 리인벤트 2022 행사를 통해 새로운 데이터 관리 서비스인 ‘아마존 데이터존’을 발표했다. 이 서비스는 AWS 클라우드는 물론 온프레미스, 서드파티 소스 등에 다양한 환경에 저장된 데이터를 빠르고 쉽게 분류하고 검색·공유·관리할 수 있도록 지원하는 서비스다.

디지털 기반의 업무환경에서 데이터 관리는 까다로운 문제로 꼽힌다. 기업의 데이터는 여러 부서와 서비스, 온프레미스 데이터베이스, 혹은 서드파티 소스 등에 산재돼 있으며, 그 규모는 페타바이트(PB), 혹은 엑사바이트(EB)에 달한다.

막대한 규모와 산재된 데이터의 위치에 더해 기업은 적절한 사람만이 유효한 컨텍스트 내에서 데이터에 액세스하는 제어와 거버넌스를 유지해야 한다. 반면 기업 임직원들은 올바른 의사 결정과 협업을 위해 비즈니스 데이터에 대한 정보를 보다 쉽고 효과적으로 검색·분석할 수 있기를 희망한다.

즉, 기업의 데이터 관리자는 새로운 인사이트를 도출을 위한 접근성과 데이터 안전을 위한 제어 사이의 균형이 요구되고 있다.

아마존 데이터존은 데이터 생산자가 데이터에 대한 접근성을 보다 쉽게 관리·제어하고 머신러닝(ML)을 통해  데이터 카탈로그 관리를 자동화해 기업 내 데이터 소비자가 데이터를 보다 쉽게 검색·사용·협업할 수 있도록 지원한다고 AWS는 소개했다.

데이터 생산자는 아마존 데이터존의 웹 포털을 사용해 데이터 분류 체계를 정의하고, 거버넌스 정책을 구성해 AWS 서비스와 파트너 솔루션, 온프레미스 시스템에 연결해 자체 비즈니스 데이터 카탈로그를 설정할 수 있다.

이때 아마존 데이터존은 ML을 사용해 각 데이터 세트에 대한 메타데이터를 수집·제안하고 고객의 분류 체계, 선호도에 대한 트레이닝을 통해 점진적으로 개선함으로써 카탈로그의 유지 관리에 대한 번거로움을 덜어준다는 게 AWS의 설명이다.

데이터 소비자는 아마존 데이터존 웹 포털을 사용해 데이터 자산을 검색·발견하고, 데이터 세트에 대한 접근을 요청하며 동료와 액세스를 공유해 협업할 수 있는 웹 포털 공유 공간인 ‘아마존 데이터존 데이터 프로젝트’를 생성할 수 있다.

아마존 레드시프트, 아테나 등  AWS 분석 서비스와 통합돼 별도 로그인 없이 사용할 수 있으며 데이터브릭스, 스노우플레이크 등의 서드파티 솔루션과 통합할 수 있는 API도 제공된다고 사측은 설명했다.

스와미 시바수브라마니안 AWS 데이터베이스·분석·머신러닝 부문 부사장은 “강력한 거버넌스 제어와 간소화된 액세스의 균형을 유지하는 단일 서비스를 사용해 데이터를 쉽게 찾고 구성해 협업할 수 있다. 데이터존으로 조직 전체가 자유롭게 데이터에 액세스할 수 있어 모든 직원이 가치를 극대화할 수 있는 새로운 인사이트를 얻을 수 있을 것으로 기대한다”고 말했다.