한국지능정보사회진흥원(NIA)이 인공지능(AI) 모델의 안전성·신뢰성 평가 기반 구축을 위한 ‘LLM 안전성 및 신뢰성 평가 데이터셋 구축’ 사업 착수보고회를 열고 본격 추진에 나섰다.

이 사업은 NIA와 과기정통부가 추진 중인 ‘독자 AI 파운데이션 모델 프로젝트’를 통해 구축되는 AI 모델 등에 대한 안전성과 신뢰성 성능을 평가하기 위한 기반을 마련하는 것으로 AI 모델의 위험 요소에 대한 체계적이고 정량적인 검증 체계를 구축하는데 중점을 두고 있다.

NIA는 AI허브를 통한 대규모 AI 학습데이터 구축하고 AI 바우처 사업을 통한 중소기업 AI 도입 지원하는 등 관련 생태계 발전을 주도해왔다.

사업을 통해 NIA는 AI 모델의 성능 평가를 넘어 안전성과 신뢰성까지 아우르는 종합적인 AI 평가 체계를 구축한다.

이번 과제에서는 사이버보안과 AI 자율성, 사실 기반 정확성, 사회적가치 편향 등 AI 안전성과 신뢰성 핵심 항목을 아우르는 2만건 이상의 한국어 특화 벤치마크 데이터셋을 구축할 계획이다.

7일 NIA 서울사무소에서 열린 이날 착수보고회에는 주무부처인 과기정통부를 비롯해 NIA와 데이터 구축을 수행하는 인공지능안전연구소 관계자가 참석해 데이터 구축 방향과 평가 체계 설계, 글로벌 연계 전략 등을 논의했다.

인공지능안전연구소 김명주 소장은 “이번 사업은 단순 성능 비교를 넘어 AI가 사회에서 신뢰받으며 활용될 수 있는 기준을 세우는 첫 시도”라며, “공정하고 객관적인 평가체계를 만들어가며 국내외 AI 신뢰성 생태계 활성화에 기여하겠다”고 말했다.

NIA 황종성 원장은 “AI 안전성 평가는 선택이 아닌 필수가 된 시대”라며, “AI허브를 통해 축적한 1,300여 종의 학습데이터와 평가 체계 전문성을 총동원해 최고 수준의 안전성 검증 체계를 구축할 것”이라고 말했다.