오늘날과 같은 데이터 폭증 시대에서 기업은 비즈니스 경쟁력 확보를 위한 노력을 어느때보다 심도있게 기울여야 한다. 기업 내 데이터·분석가는 이와 같은 트렌드가 비즈니스에 미치는 영향력을 빠르게 파악하고, 비즈니스 모델과 운영에서의 조절을 해야만 타사와의 경쟁우위에서 승리할 수 있음을 인지해야 한다.

디지털혁신(Digital Transformation, DT) 전략이 주목받고 있는 현재, 기업은 새로운 기회를 확보함과 동시에 방대한 데이터에서 정확한 데이터세트를 추출하고, 또 이를 효율적으로 활용할 수 있는 기술·시스템 확보와 관련된 도전과제를 직면하게 되었다.

중요한 점은, 이러한 변화에 대응하는 민첩하고 데이터 중심적인 아키텍처가 향후 비즈니스의 지속적인 생존을 좌우할 것이라는 점이다.

데이터·분석과 관련해 내부 의사 결정을 지원하는 것에서부터 지속적인 지능화 노력은 물론 데이터최고책임자(CDO)를 선임·임명하는 형태로 확장되고 있는 추세다. 이를 위해서는 기술 트렌드를 심도있게 이해하고 비즈니스 가치 기반의 기술 트렌드의 우선순위를 설정하는 것이 중요하다.

앞서의 글과 마찬가지로, 이번 글에서도 2019년 데이터·분석 시장에서 주목받고 있는 상위 기술 키워드와 트렌드를 알아보고 구체적인 사례 및 도전과제에 대한 해결책을 알아본다.

4. 설명이 가능한 AI
점점 많은 AI 모델이 인간의 의사 결정을 강화하고 대체하는 데 사용되고 있다. 그러나 기업은 때때로 이러한 모델이 의사 결정에 어떻게 도달하는지를 정당화해야 한다. 사용자와 이해당사자들과 신뢰를 구축하기 위해 애플리케이션 리더들은 AI 모델을 한층 해석하기 쉽고 설명 가능한 방식으로 만들어야 한다.

안타깝게도 이러한 고급 AI 모델의 대다수는 복잡한 블랙박스로 특정 권고사항이나 결정사항에 도달한 이유를 설명하지 못한다.

예를 들어 데이터 사이언스와 머신러닝 플랫폼에서 설명 가능한 AI는 모델의 정확성, 속성, 모델 통계, 기능 등의 측면에서 모델에 대한 설명을 자연어로 자동 생성한다.

5. 그래프 분석
그래프 분석은 조직, 사람, 거래 등 이해 주체 간 관계를 탐색할 수 있는 일련의 분석기법이다.

그래프 처리 애플리케이션과 그래프 데이터베이스 관리 시스템은 2022년까지 매년 100%씩 성장하며 데이터 준비를 지속적으로 가속화 중이며 더욱 복잡하고 적응력 뛰어난 데이터 사이언스를 구현할 것이다.

그래프 데이터 저장소에서는 데이터 사일로를 가로지르는 복잡한 상호관계를 통해 데이터를 효율적으로 모델링, 탐색·쿼리할 수 있으나 전문기술이 필요한 부문이라 현재까지 채택이 제한적이었다.

복잡한 데이터 전반에 걸쳐 복잡한 질문을 제기할 필요성이 대두되면서 그래프 분석은 향후 몇 년 내 성장할 것이다. SQL 쿼리를 사용하는 방법은 항상 실용적이지 않을 수 있으며 대규모 실행은 불가할 수 있다.

6. 데이터 패브릭
데이터 패브릭은 분산된 데이터 환경에서 마찰 없는 액세스와 데이터 공유를 지원한다. 이를 통해 일관된 단일 데이터 관리 프레임워크를 구축할 수 있으며 사일로화 된 저장소를 설계단에서 바꾸어 원활한 데이터 액세스와 프로세싱을 지원한다.

2022년까지 맞춤형 데이터 패브릭 설계는 주로 정적인 인프라로 구축될 것이며 기업들은 보다 동적인 데이터 메시 접근방식을 완전히 재설계하기 위해 새로운 비용을 지불해야 할 것이다.

7. NLP 및 대화형 분석
2020년까지 분석 쿼리의 50%가 검색, 자연어처리(NLP), 음성을 통해 생성되거나 자동 생성될 것이다. 복잡한 데이터 조합을 분석하고 조직 내 모든 이들이 분석에 액세스해야 할 필요성이 늘어나면서 해당 기술에 대한 폭넓은 채택이 이뤄질 것으로 예상되며, 이를 통해 분석 툴은 검색 인터페이스나 가상 비서와의 대화만큼 용이해질 것이다.

글 : 도널드 페인버그((Donald Feinberg) / 최고연구원 / 가트너