업스테이지가 매스프레소·KT와 공동 개발한 수학 도메인 특화 대규모언어모델(LLM) ‘매스GPT(가칭)’를 개발했다고 밝혔다. 매스GPT는 지난해 11월 KT와 매스프레소, 업스테이트가 체결한 전략적 파트너십의 일환으로 개발된 LLM이다. 

매스GPT는 매스프레소의 인공지능(AI) 학습 플랫폼 ‘콴다’의 고품질 수학 전문 데이터를 바탕으로, 업스테이지가 파인튜닝을 진행해 자연어 기반 LLM델이 논리적 추론과 프로그래밍화를 통해 복잡한 수학 문제를 풀 수 있게 한 것이다.

업스테이지에 따르면, 매스GPT는 ‘MATH’·‘GSM8K’ 등 언어 모델의 수학 능력을 평가하는 대표 벤치마크 테스트에서 오픈AI나 마이크로소프트(MS)의 개발 모델을 뛰어 넘는 성과를 거뒀다.

매개변수 13B 이하 LLM에서 기존 최고 성능 기록은 MS ‘ToRA 13B’였지만, 매스GPT는 이를 뛰어넘은 벤치마크 성능을 나타냈다.

MATH 벤치마크는 1만2500개의 고난도 수학 경시 문제를 통해, GSM8K 벤치마크는 8,500개의 초등학교 수학 문제를 통해 산술 연산을 테스트하는 등 벤치마크다.

이 두 벤치마크 테스트에서 13B 이하 모델의 최고 기록을 기록한 매스GPT는 벤치마크 테스트 평균으로는 오픈AI ‘챗GPT’를, MATH 벤치마크에서는 오픈AI ‘GPT-4’의 성능을 상회하는 성과를 달성했다.

업스테이지 김성훈 대표는 “협력을 통해 챗GPT를 뛰어넘고 세계 최고 수준의 수학 특화 모델을 개발하게 돼 뜻깊다”라며 “앞으로 업스테이지는 글로벌 1위 LLM 기술력을 바탕으로 다양한 영역에서 생성형 AI 혁신을 주도해 나갈 것”이라고 밝혔다.

이용재 매스프레소 대표는 “3사의 기술력과 노하우가 합쳐져 글로벌 빅테크를 뛰어넘은 의미 있는 결과를 만들어냈다”라며, “콴다 AI 튜터를 통해 아시아를 넘어 전세계 학생들의 교육 경험을 혁신할 것”이라고 밝혔다.