인공지능(AI)의 잠재적 위험과 취약점을 찾아내는 대국민 챌린지 행사가 열린다. 생성AI의 안전과 신뢰성 확보를 논의하는 자리도 컨퍼런스도 마련됐다.

과학기술정보통신부와 한국정보통신기술협회(TTA)는 내달 11일부터 12일까지 양일 간 서울 강남구 코엑스에서 ‘생성형 인공지능(AI) 레드팀 챌린지’를 열고 행사에 참여할 국민 1천명을 모집한다고 밝혔다.

과학기술정보통신부가 주최하고 한국정보통신기술협회(TTA)와 초거대AI추진협의회가 주관으로 열리는 이 행사는 최근 급격하게 성장하고 있는 기술인 대규모언어모델(LLM)의 안전성·신뢰성·보안을 강화하기 위한 방법을 모색하고자 마련됐다.

AI 레드팀은 통제된 환경에서 적대적 방법을 사용해 AI시스템 내 유해하거나 차별적인 결과, 시스템 오용 등의 결함과 취약성을 식별하기 위한 구조화된 테스트 활동이다.

국내 AI 기업의 LLM을 집중적으로 점검하기 위한 이번 행사는 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 대표 AI 기업의 모델을 대상으로 참가자가 잠재적 위험과 취약점을 식별하는 공개 챌린지 방식으로 진행된다.

11일에는 실제 서비스되고 있는 LLM에 참가자들이 모의로 프롬프트 공격을 하여 모델의 안전성을 검증하는 ‘생성형 AI 레드팀 챌린지’ 대회가 열린다. 전공과 상관없이 AI윤리·안전에 관심이 있는 국민 누구나 사전신청을 통해 참여할 수 있고 우수 참가자들에게는 총 1,700만원 규모의 상금 혜택이 제공된다.

행사 2일차인 12일에는 안전한 AI 개발을 주제로 국내외 AI기술 리더의 발표와 의견 교류가 이뤄지는 컨퍼런스가 진행된다. 

코히어의 에이단 고메즈 대표, 스태빌리티AI의 이마드 모스타크 대표, 프론티어모델포럼의 크리스 메세롤 의장, xAI의 댄 헨드릭스 안전담당 고문, 네이버 하정우 퓨처AI센터장, SK텔레콤 에릭 데이비스 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 이사 등 국내외 대표 AI 기업인과 전문가가 글로벌 AI 안전 컨퍼런스에 참여해 생성AI의 안전과 신뢰성 확보 방안을 논의한다.

강도현 과기정통부 2차관은 “이번 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적인 노력이 확산하고 AI를 활용하는 일반 국민도 AI 윤리의 중요성에 대한 인식이 커지기를 기대한다”고 말했다.