지난해 디지털 기반 비즈니스의 확대로 데이터는 엄청난 속도로 증가했다. 이와 같은 분위기는 2021년에도 지속될 것이다. 

모든 정보가 디지털화되고 있다. 매일 생성되는 방대한 양의 디지털 콘텐츠를 어떻게 관리하고, 저장하며, 보호할 것인지에 대한 고민이 깊어지고 있다.

특히 생명과학 부문과 일부 IoT 분야에서는 매일 테라바이트(TB)급의 데이터가 생성-수집-저장되고 있다. 올해 기업들은 데이터가 비즈니스에 어떤 영향을 미치는지, 데이터가 현재와 미래에 가져올 수 있는 가치가 무엇인지에 대한 이해와 통찰력을 확보해야 한다.

기업들이 데이터의 가치를 인식했다면 인공지능(AI) 기술을 활용하여 메타데이터를 색인화 및 추가함으로써 리소스를 최적화할 수 있다. 이는 장기적인 전략을 기반으로 스토리지 시스템을 운영하여 효과적인 데이터 관리가 가능하다는 말과 같다.

이 글은 폭증하고 있는 데이터를 안전하게, 오류를 최소화하면서, 효율적으로 운영하기 위한 방법은 어떤 것들이 있을까?

1. 관리 오류 최소화를 위한 데이터 자산 관리 시스템을 운영하라
‘사용자의 행동 패턴’은 데이터 관리에서 가장 큰 문제 중 하나다. 우리는 데이터를 엉뚱한 곳에 저장시키고 나서, 그 데이터를 찾기 위해 수백만 또는 수십억개의 파일을 검색하고 있다. 

하지만 사실상, 사용자의 행동을 바꾸는 것은 거의 불가능하다. 사용자의 데이터를 적합한 곳에 저장하고 보호할 수 있는 안전망을 제공하는 혁신적인 기술을 도입해야만 한다.

대규모 데이터 세트를 관리해야 하는 업계는 자산 관리를 위한 소프트웨어(SW)가 필요하다. 자산 관리 플랫폼은 수십 년간 대규모 파일을 관리해온 미디어 및 엔터테인먼트(M&E) 업계에서는 이미 일반적으로 활용되고 있다. 

최근에는 많은 디지털 기반 비즈니스 기업 기업이 증가하면서 그 수요도 크게 늘어나고 있는 추세다.

기업이 보유하고 있는 데이터 활용을 극대화하기 위해서는 모든 파일 기반 스토리지 시스템을 정기적으로 스캔하고 모든 정보를 수집하여 쉽게 액세스할 수 있도록 중앙 위치에 배치하는 시스템이 필요하다. 

이러한 시스템은 메타데이터를 컴파일링(compiling)하고, 용이한 검색을 위해 구조화하며, 시스템에 있는 데이터를 빠르게 확인할 수 있는 뷰(view)를 제공한다.

데이터의 중앙집중관리 시스템을 구현한 이후에는 메타데이터를 통해 얻은 지식을 적용하여 보다 효과적인 스토리지를 구현하고 운영상의 이점을 확보해야 한다.

비즈니스 태그 또는 확장 가능한 속성(attributes)을 데이터에 부여하고 이를 실시간으로 스토리지 리소스를 관리하는 시스템에 연결된 구조화된 형식으로 유지하면 필요한 곳에 효과적으로 데이터를 보관할 수 있다. 

AI 기술을 이용해 이 데이터를 색인화(Indexing)/카탈로그화(cataloging)하면 이 파일 데이터를 추가 메타데이터와 함께 더욱 가치 있게 만들 수 있고, 보다 용이한 검색과 접근성, 재사용이 가능해진다. 

2. 데이터 관리 자동화 프로세스를 활용하여 스토리지 리소스를 제어하라
사람이 데이터와 상호작용하는 것이 어려운 일로 보일지 모르나, 오늘날 생성되고 소비되는 대부분의 데이터는 애플리케이션에 의해 무의식적으로 이미 상호작용되고 있다. 

애플리케이션을 설치하고 운영할 때, 해당 데이터 관리 자동화는 필수적인 단계로, 애플리케이션이 어떤 프로세스에 있는지, 어떤 워크플로우에 있는지, 다음 단계에서 해당 데이터로 무슨 작업을 수행할지, 며칠간의 시간 간격을 두고 데이터 태그 지정하는 등을 통해 특정 기준에 따라 수행될 수 있다. 

애플리케이션은 태그이든 메타데이터 변수이든 이러한 데이터 식별자(identifier)를 통해 데이터 및 스토리지 리소스를 보다 직접적으로 제어할 수 있다.

가령 애플리케이션이 이러한 디스크립터(descriptors)나 태그를 기반으로 스토리지 시스템에 “이 데이터를 오전 10시 5분에 사용할 것이며, 플래시(Flash)로 옮길 것이다”라는 지시를 보내면, 스토리지 시스템은 데이터를 플래시로 자동으로 이동시킨다.

애플리케이션은 데이터를 ‘사용’하고 다시 스토리지 시스템에 ‘저장’하도록 지시하는 구조인 셈이다.

글 : 노에미 그레이즈도르프(Noemi Greyzdorf) / 제품마케팅 디렉터 / 퀀텀