국내 연구진이 대형언어모델(LLM)을 기반으로 구현된 절차의 성능을 자동으로 평가하는 기술을 개발했다. 

한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립해 수행하는 절차 생성 인공지능(AI)의 성능을 자동으로 평가할 수 있는 로타벤치마크(LoTa-Bench) 기술을 개발했다고 7일 밝혔다.

ETRI는 알프레드(ALFRED) 기반 벤치마크 결과 오픈AI의 GPT-3는 21.36%, GPT-4는 40.38%, 메타의 라마2(LLaMA 2)-70B 모델이 18.27%, 모자이크엠엘(MosaicML)의 MPT-30B 모델이 18.75% 성공률을 보였다고 전했다.

규모가 클수록 절차 생성 능력도 우수했다. 연구진은 표현학습국제학회(ICLR)에 논문을 발표하고 이 기술을 이용해 LLM 총 33종의 절차 생성 성능평가 결과를 깃허브를 통해 공개했다.

ETRI는 “이 기술 개발로 LLM을 이용한 로봇 작업계획 기술의 성능평가 시간과 비용을 대폭 줄일 수 있게 됐다”며 “이를 오픈소스로 공개해 이를 자유롭게 활용하면서 관련 기술의 발전을 앞당길 수 있을 것으로 기대한다”고 설명했다.

LLM은 언어처리, 대화, 수학 문제 풀이, 논리 증명 외 사람의 명령을 이해해 하위 작업을 스스로 선택하고 순서대로 수행해 목표를 달성하는 절차 이해 영역에서도 우수한 성능을 보여주고 있다. LLM을 로봇 응용과 서비스 구현에 적용하려는 시도도 이어지고 있다.

ETRI가 개발한 이 기술은 LLM의 절차 수행 결과가 지시 명령 목표를 잘 달성했는지에 대한 절차 이해 기술 성능을 자동으로 평가하는 기술이다. 기존에는 절차 이해 성능 평가를 자동으로 할 수 있는 벤치마크 기술이 없어서 사람이 직접 평가함으로써 손이 많이 갈 수밖에 없었다.

ETRI는 “로타벤치마크 기술은 사용자의 명령에 따라 LLM이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동으로 비교하여 성공 여부를 판단해 시간과 비용을 최소화할 수 있으며 결과 또한 객관적”이라고 소개했다.

성능 평가는 미국 알렌인공지능연구소(AI2-THOR)와 미국 MIT(VirtualHome) 가상 시뮬레이션 환경에서 이뤄졌다.

연구진은 로타벤치마크 기술의 이점을 활용해 데이터를 통한 훈련으로 절차 생성 성능을 개선할 수 있는 ▲컨텍스트 내 예제 선별법(In-Context Example Selection ▲피드백 기반 재계획(Feedback and Replanning) 등 2개 전략도 발견했다. 

ETRI 장민수 소셜로보틱스연구실 책임연구원은 “로타벤치마크는 절차 생성AI 개발의 첫걸음이다. 향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 연구개발할 계획”이라며 “1가구 1로봇 생활 시대의 구현을 위해서는 이 기술이 반드시 필요하다”고 말했다.

ETRI 김재홍 소셜로보틱스연구실장도 “ETRI는 실세계에서 각종 임무 계획을 생성하고 실행할 수 있는 로봇을 실현하기 위해 파운데이션 모델을 활용한 로봇 지능 고도화 연구개발에 매진하고 있다”고 밝혔다.

이 기술 개발은 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘사람중심 인공지능 핵심원천기술 개발 사업’의 일환으로 추진된 ‘스스로 불확실성을 자각하며 질문하면서 성장하는 에이전트 기술 개발’ 과제를 통해 수행됐다.