비정형 데이터에 인텔리전스 부여하는 오브젝트스토리지 ①

데이터의 폭발적 증가 속에서 비정형 데이터의 활용과 스마트한 데이터 관리를 위해 오브젝트스토리지가 주목을 받고 있다.

확장성과 개방성, 높은 데이터 보호 기능을 바탕으로 대용량 데이터의 저장, 아카이빙, 백업 등 보조 스토리지 영역에서 주로 활용되던 오브젝트스토리지는 이제 운영 스토리지 영역으로 부상하고 있다. 

오브젝트스토리지는 데이터 사일로(silo) 간 장벽을 없애 비정형 데이터를 더 스마트하게 만들고, 데이터 가치와 접근성을 한층 높여준다.

IDC는 ‘세계 소프트웨어 정의 스토리지 시장 전망, 2017~2021’ 보고서에서 전세계 오브젝트스토리지 시장이 2021년까지 연평균 10.3% 성장할 것으로 전망했다. IDC에 따르면 오브젝트 스토리지는 하이퍼컨버지드(Hyper Converged)와 함께 전세계 스토리지 시장을 주도하고 있다. 

국내에서도 오브젝트스토리지는 클라우드 확장과 지능형 데이터 관리의 탁월함을 인정받으며 차세대 스토리지로 각광받고 있다.

엔터프라이즈의 규모와 성능을 모두 충족하고 클라우드네이티브 애플리케이션, 데이터 레이크, 빅데이터 분석 등 새로운 워크로드를 지원하며 성능, 기능, 확장성 측면에서 기업의 요구사항이 증가하고 있다. 

비정형 데이터, 강력한 메타데이터로 전환 
비정형 데이터는 명확하게 정의되거나 정형화된 데이터 모델에 해당되지 않는 모든 종류의 데이터를 말한다. 이런 특징으로 비정형 데이터는 검색과 분석이 쉽지 않다. 

데이터베이스(DB)가 정형 데이터의 대표적 사례라면 이메일, 텍스트, 사진, 비디오, 오디오, 웹페이지, 프레젠테이션, 멀티미디어, 콜센터 기록·녹음 등이 비정형 데이터다.

데이터는 정형화될 수 있고 프로그래밍을 거치면 검색과 쿼리가 간편해진다. 비정형 데이터에 대한 빠른 엑세스와 안전한 저장은 곧 기업의 수익 원동력으로 전환된다. 

오브젝트스토리지는 파일에 대한 상세 정보를 포함한 메타데이터를 자동으로 생성-보관-관리하며 기존 스토리지와 다른 접근 방식으로 운영된다.

수억 또는 수십억개 파일을 객체(object)화해 고유의 ID만 갖고 데이터를 관리함으로써 경제성과 효율성을 높여준다. 데이터 관리, 보호 자동화, 검색을 통한 거버넌스 대응 등 차별화된 확장성도 제공한다.

특히 메타데이터를 이용해 비정형 데이터를 프로그래밍 가능한 데이터로 전환시키고, 메타데이터는 하나의 오브젝트로 기능하도록 원본 파일에 추가돼 함께 저장된다. 메타데이터가 추가되면 데이터 검색-분류-관리가 가능해지고, 프로그래밍을 통해 데이터 처리도 할 수 있다. 

무엇보다 비정형 데이터도 자체 식별이 가능하도록 전체 텍스트 색인을 부여하면서 더 풍부하게 만들 수 있다. 

오브젝트스토리지를 활용한 지능형 데이터 확보의 중요성
데이터 주도적인 환경을 추구하는 기업이 늘면서 중앙집중식 데이터 관리의 필요성도 증가했다. 핵심 데이터센터 또는 복수의 센터, 엣지 지점, 고객, 퍼블릭 클라우드, 멀티·퍼블릭클라우드 내 저장된 데이터가 모두 그 대상이다.

지능형 데이터 운영과 분석 가속화의 성패는 지능형 데이터의 확보에 달려 있다. 검색과 분석은 물론 끊임없이 변화하는 규제준수 사항에도 원활하게 대응하기 위해 데이터 준비, 클린징, 조작, 변환 등의 작업을 데이터 운영과 통합된 워크플로우에서 처리할 수 있어야 한다.

이는 강력한 메타데이터를 기반으로 이뤄지며 엄청난 규모의 확장성과 고성능이 요구된다. 

오브젝트스토리지는 원하는 정보 추적에도 탁월하다. 사용자 지정 메타데이터를 이용하고, 프로그래밍을 통해 중요 정보를 파일에 추가할 수 있다. 데이터베이스의 데이터를 검색하는 것처럼 작성자, 날짜, 기간 등 원하는 조건에 맞춰 검색이 가능하다. 

애플리케이션 버전, 고객, 송장, 문서 ID, 생성 국가, 원래 표준 시간대, 거버넌스 정책, 적용 날짜, 원본 애플리케이션 같은 구체적 정보도 검색할 수 있다. 이런 모든 정보가 사용자 지정 메타데이터 필드가 될 수 있고, 그 이상도 포함될 수 있다.

더 이상 사용되지 않고 데이터 액세스도 거의 발생되지 않는 원본 애플리케이션에 연계된 데이터 관리에도 유용하게 사용될 수 있다. 

가령 애플리케이션 데이터를 읽을 수 있도록 스크립트를 작성한 후 이를 오브젝트 버킷에 작성한다고 가정해보자. 이때 해당 애플리케이션에서 사용하던 기존 콘텍스트(context)를 추가한 사용자 지정 메타데이터를 포함할 것을 제안한다.

이렇게 하면 기존 애플리케이션 데이터에서도 전체 쿼리 기능을 이용하고, 프로그래밍을 통한 액세스도 가능하다. 

이처럼 데이터를 찾기 쉽게 만들면 차세대 데이터 애플리케이션과도 훨씬 수월하게 통합할 수 있게 되면서 단순한 데이터 저장만을 위한 애플리케이션 사일로는 더 이상 존재하지 않게 된다.

글 : 김 도 진 / 데이터사업팀 차장 / 효성인포메이션시스템