스켈터랩스 AI 언어모델 ‘KorQuAD 2.0’, 한국어 기계독해 평가서 1위 기록

최태우 기자 / 기사승인 : 2020-07-01 09:24:49
  • -
  • +
  • 인쇄

[IT비즈뉴스 최태우 기자] 스켈터랩스가 자사의 한국어 AI 언어 모델이 한국어 기계독해(MRC) 데이터셋 ‘KorQuAD 1.0’ 기반 성능 평가에서 1위를 기록하고 있는 것에 이어 ‘KorQuAD 2.0’에서도 1위를 기록했다고 밝혔다.

기계독해는 AI가 주어진 문서를 빠르게 이해하고 문서 내에서 질문에 최적화된 답변을 찾아내는 기술이다.

스켈터랩스는 자사의 AI 언어 모델이 정밀도(Precision)와 재현율(Recall)을 종합적으로 고려한 수치인 F1 스코어 88.09점, 모델이 정답을 정확히 맞춘 데이터의 비율을 뜻하는 EM 스코어에서 76.64점을 기록했다고 설명했다.

KorQuAD 2.0은 LG CNS에서 공개한 한국어 기계독해 데이터셋이다. KorQuAD 1.0 대비 보다 긴 분량의 문서가 포함돼 있으며 단순 자연어 문장과 복잡한 표, 리스트를 포함하는 HTML 형태로 표현돼 있어 문서의 전체 구조에 대한 이해가 필요하다.

스켈터랩스는 기존 KorQuAD 1.0 기반 성능평가에서 1위를 기록한 경험으로 복잡하고 다양한 형태와 길이의 문서에서도 높은 성능의 기계독해를 가능하게 한 AI 언어 모델을 자체 프레임워크 기반으로 고도화시켜 왔다고 설명했다.

스켈터랩스 조성진 최고기술책임자(CTO)는 “한국어 기계독해 성능을 객관적으로 평가할 수 있는 공개 데이터셋 2개 버전 모두 스타트업으로서 유수 기업들 대비 큰 점수차로 앞선 1위를 달성하게 돼 기쁘다”며 “한국어 자연어이해(NLU) 분야에서 검증받은 기술력을 고도화해 향후 영어, 일본어 등 타 언어에서도 기술성과를 낼 수 있도록 노력할 것”이라고 말했다.

 

[저작권자ⓒ IT비즈뉴스. 무단전재-재배포 금지]

  • 글자크기
  • +
  • -
  • 인쇄
뉴스댓글 >

주요기사

+

많이 본 기사

마켓인사이트

+

컴퓨팅인사이트

+

스마트카

+

PHOTO NEWS