[IT비즈뉴스 최태우 기자] 카카오가 인공지능(AI) 기술을 적용한 형태소 분석기술을 깃허브(GitHub)에 오픈소스로 공개한다. 딥 러닝 기반의 형태소 분석기가 오픈소스로 배포되는 것은 국내에서 처음이다.

카카오는 30일 딥 러닝 기술 기반으로 개발한 형태소 분석기인 카이(Kakao Hangul Analyzer III, khaiii)'를 오픈소스로 제공한다.

카카오는 형태소 분석기 오픈소스 공개를 통해 한국어 연구, 챗봇/자연어 처리 응용기술 개발 등 한국어를 활용하는 다양한 분야에서 형태소 분석을 위한 비용과 시간을 줄일 수 있을 것으로 기대하고 있다.

형태소 분석기술은 2개 이상의 글자로 구성된 단어 혹은 문장을 입력할 때 의미를 가진 언어 단위 중 가장 작은 단위인 형태소 단위로 자동으로 분리하는 기술이다. 예를 들면 '학교에 간다'라고 입력하면 '학교/명사+ 에/조사+ 가/동사+ ㄴ다/어미'로 형태소 단위와 품사를 파악해 분류해내는 기술이다.

카이(khaiii)의 CNN 모델 네트워크 구조 (클릭하면 크게 보입니다)

이는 주로 자연어처리 응용 서비스의 기반 기술로 사용되며 정보 검색, 기계 번역, 스마트스피커나 챗봇 등 여러 서비스에서 사용할 수 있다.

이번에 오픈·배포되는 카이(khaiii)는 심층기계학습(딥러닝)을 통해 학습한 데이터를 활용해 형태소를 분석하는 모델이다. 관련 기술 중 하나인 합성곱신경망(Convolutional Neural Network, CNN) 기술을 이용해 음절기반으로 형태소를 분석하는 방법을 채택했다.

카카오는 국립국어원에서 배포한 데이터인 세종 코퍼스를 기반으로 데이터의 오류를 수정, 자체 구축한 데이터를 추가해 85만 문장, 1300만 어절의 데이터를 학습해 정확도를 높였다고 설명했다.

또, 딥 러닝 과정에서 C++ 언어를 사용하면서 일반적으로 딥 러닝에 쓰이는 GPU를 사용하지 않고도 빠른 분석 속도를 구현한 점이 특징이다.

김응균 카카오 자연어처리파트장은 “한국어 연구자에게 도움이 되고자 형태소 분석기를 공개하게 됐다”며 “앞으로도 다양한 분야에서 딥 러닝 기반의 기술연구를 진행하고 공유해 나갈 예정”이라고 밝혔다.

저작권자 © IT비즈뉴스(ITBizNews) 무단전재 및 재배포 금지