‘바이두 ABC 서밋 2019’서 인메모리 DB 최적화 설계 발표

▲ 바이두 ABC 서밋에서 인텔-바이두 간 협업 내용을 발표하는 제이슨 그레베 인텔 부사장 [source=intel newsroom]

[IT비즈뉴스 최태우 기자] 인텔과 바이두가 인메모리 데이터베이스(DB) 설계 부문에서도 협업을 추진한다. 2세대 제온 스케일러블(Xeon Scalable) 프로세서와 옵테인 DC 퍼시스턴트 메모리 기반 인프라에 최적화된 인메모리 DB를 구축하는 것이 주요 골자다.


폭발적으로 느는 데이터의 저장-처리를 수용할 수 있는 시스템 구현을 위한 기술 협업을 추진한다는 계획이다.

지난 7월 베이징에서 개최된 바이두 개발자회의(Baidu Create 2019)에서 인텔의 학습용 신경망 칩인 너바나(NNP-T), 바이두의 오픈소스 인공지능(AI) 프레임워크인 패들패들(PaddlePaddle) 간 통합 발표 이후 들려온 두 번째 협업 소식이다.

양사는 지난달 29일 중국 베이징에서 열린 ‘바이두 ABC 서밋(Baidu ABC Summit) 2019’에서 인텔 옵테인 DC 퍼시스턴트 메모리(Intel Optane DC persistent memory)를 활용한 바이두 피드 스트림(Feed Stream) 서비스의 인메모리(in-memory) 데이터베이스(DB) 설계 계획을 공식 발표했다.

바이두는 인메모리 DB인 ‘피드큐브(Feed-Cube)’를 사용하고 있다. 해당 인프라에 옵테인 DC 퍼시스턴트 메모리, 제온 프로세서를 배치하면서 피드큐브의 병행처리(concurrency) 성능을 최적화한다는 계획이다.

앞서 양사는 바이두 피드 스트림 서비스 내에 옵테인 DC 퍼시스턴트 메모리와 DRAM이 모두 탑재되는 하이브리드 메모리 설계를 진행한 바 있다. 이날 현장에서 레디스(Redis), 스파크(Spark)와 서비스 기능 등 옵테인 DC 퍼시스턴트 메모리 기술을 사용하는 타 애플리케이션 사례를 포함, 해당 연구에 대한 사례도 공개됐다.


타오 왕 바이두 추천 테크놀로지 아키텍처(Recommendation Technology Architecture) 부문 시니어 아키텍트는 “피드큐브 DB에 옵테인 DC 퍼시스턴트 메모리를 사용하면서 비용 효율적으로 메모리 용량을 확장하고 피드 스트림 이슈에 대응할 수 있다는 점에 주목했다”고 밝혔다.

양사는 주요 애플리케이션과 서비스 단을 넘어 핵심 비즈니스 개발을 위한 신제품과 기술 구현하기 위한 협업을 강화할 것을 밝혔다.

제이슨 그레베 인텔 부사장은 “양사는 10년 이상 검색에서 인공지능(AI), 자율주행, 클라우드 서비스 등 바이두의 핵심 비즈니스 강화를 위한 협업을 추진해왔다”며 “양사 간 긴밀한 협력관계를 강화해 나갈 것”이라고 밝혔다.

앞서 양사는 클라우드·데이터센터용 제온 스케일러블 프로세서에 최적화된 딥러닝 프레임워크인 패들패들을 NNP-T에 최적화한다는 계획을 공식화했다. 하드웨어 개발과 함께 최적화된 소프트웨어, 스택을 공동 설계하면서 대규모 AI 학습에 최적화된 AI 프로세스 개발을 추진한다는 게 주요 골자다.

인텔은 2016년 8월 AI 스타트업인 ‘너바나시스템즈’를 인수한 바 있다. 칩 이름인 'NNP-T'는 너바나의 사명에서 따왔다. 바이두와 AI 고도화에 적용되는 AI 학습용 프로세스(NNP-T)로 다량의 데이터 학습을 위한 AI가속기에 최적화됐다.

저작권자 © IT비즈뉴스(ITBizNews) 무단전재 및 재배포 금지