한국지능정보사회진흥원(NIA)과 업스테이지가 ‘11월, 이달의 LLM’ 시상식을 개최하고 ‘Open-Ko-LLM 리더보드’의 모델 2개를 선정했다. NIA와 업스테이지가 공동으로 운영하는 Open-Ko LLM 리더보드는 한국어 LLM 성능을 측정하는 주요한 벤치마크다.

Open-Ko LLM 리더보드는 허깅페이스의 LLM 리더보드(영문버전)를 벤치마크해 새로 구축한 한국어 버전으로 기존 허깅페이스의 지표인 추론능력, 상식능력, 언어이해력, 환각방지능력에 한국어 상식생성능력을 추가해 LLM 성능을 평가한다.

특히 한국어 LLM 성능을 평가할 수 있다는 점에서 AI 학계와 산업계의 높은 관심을 받으면서 9월27일 오픈 이후 운영 3개월만에 600개 이상의 LLM이 등록될 정도로 인기를 끌고 있다.  

‘이달의 LLM’은 모델 파라미터 크기에 따라 7B 이하, 7B 초과 등 2개 부문으로 진행했으며 7B 이하 부문은 50.47점을 기록한 미니레코드가, 7B 초과 부문은 52.69점을 기록한 미디어그룹사람과숲-마커AI 연구컨소시엄이 차지했다.

미디어그룹사람과숲-마커AI 연구컨소시엄의 LLM은 부문과 상관없이 리더보드 전체 1위로 가장 높은 점수를 기록했다.

Open-Ko LLM 리더보드는 한국어 생성AI 생태계 활성화를 위한 민관협력 모델이란 점에서도 의의를 지닌다. 공공기관인 NIA와 업스테이지가 공동 개발한 리더보드에 다수의 기업이 활발히 참여해 모델 성능을 평가하고, 지속적인 개선을 진행하면서 생성AI 발전을 꾀하고 있는 것이다.

NIA에 따르면, 11월 이달의 LLM 미니레코드, 미디어그룹사람과숲-마커AI 컨소시엄 외에도 KT, 롯데정보통신 등 다양한 기업이 리더보드 평가에 참여해 객관적인 성능 측정을 진행했다. 

NIA와 업스테이지는 신규 구축한 LLM용 데이터를 기반으로 평가데이터를 추가하는 등 리더보드 활성화를 위해 지속적으로 협력해나갈 계획이다.