과학기술정보통신부와 한국정보통신기술협회가 대규모언어모델(LLM)의 잠재적 위험성과 취약점을 찾아내는 ‘생성형 AI 레드팀 챌린지’ 행사를 성황리에 종료했다고 밝혔다.

11일부터 12일까지 양일 간 국내에서 처음으로 열린 이번 행사는 최근 생성AI에 대한 사회 전반의 높은 관심이 반영돼 AI·IT분야 종사자뿐만 아니라 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1천여명이 챌린지 참가자로 참여했다.

글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SK텔레콤·업스테이지·포티투마루가 참여한 가운데 챌린지 참가자들은 세션별 참여기업 LLM 모델을 차례로 배정받아 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.

공정하고 전문적인 평가를 위해 챌린지 평가단도 구성·운영했다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료‧금융‧법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초해 챌린지 참가자를 평가했다.

한편 행사 2일차에 열리는 ‘글로벌 AI 안전 컨퍼런스’에서는 국내외를 대표하는 AI 업계‧학계 전문가가 참여해 최근 생성AI 시장의 기술동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론도 진행됐다.

과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성AI 분야의 공통·포괄적인 위험을 도출하고 업계에서 활용할 수 있는 레드팀 가이드라인을 마련할 계획이다.

강도현 과기정통부 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”라며 “‘AI 시대’로의 본격적인 전환점에서 이번 행사는 AI의 지속가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 말했다.