혐오발언·집단따돌림 감지율 낮은 이유, “콘텐츠 따라 맥락에서 파악하는 경우 있다”

▲ [source=pixabay]

[IT비즈뉴스 김진수 기자] 페이스북이 인공지능(AI) 기술로 테러나 불법무기, 약품거래는 물론 혐오발언도 대부분 자동 감지, 삭제하고 있다고 밝혔다.


페이스북코리아는 28일 ‘페이스북 미디어 세션’ 행사를 열고 올해 3분기 페이스북 커뮤니티 규정 시행에 대한 현황자료를 공개했다. 페이스북은 지난해부터 전세계에 동일하게 적용되는 커뮤니티 규정과 시행 내역을 공개하고 있다.

규정 내역을 보면 ▲가짜계정 ▲스팸 ▲나체이미지 혹은 성적행위 ▲폭력·자극적인 콘텐츠 ▲테러선전 ▲혐오발언 ▲따돌림 및 집단괴롭힘 ▲마약판매 ▲아동 나체이미지와 아동성착취 ▲자살·자해 등으로 구분된다.

사측은 이날 공개한 올해 2~3분기 커뮤니티 규정 시행보고서를 통해 “유해콘텐츠 전반에 걸쳐 규정 집행을 강화해왔다. 지난 5년 간 AI에 대한 지속적인 투자를 통해 콘텐츠 감지-삭제율을 높이고 있다”고 밝혔다.

공개된 자료에 따르면 혐오발언 관련 위반 사항을 감지하는 시스템은 향상돼왔으며 올해 2분기부터 일부 게시물을 자동으로 삭제하고 있다. 특히 사전감지율은 지난 보고서의 68% 수준에서 80%까지 올랐다는 게 사측 설명이다.

기존 혐오발언으로 판별된 텍스트와 동일 문자열이나 이미지 포함여부를 식별하는 매칭 기능과 혐오발언 콘텐츠에서 발견되는 공통적인 문구의 패턴 유사성을 판별하기 위해 머신러닝(ML)이 적용된 감지 기법을 쓰고 있다고 밝혔다.

허나 혐오발언이나 따돌림, 집단괴롭힘 콘텐츠의 사전조치율은 각각 80.1%, 16.1%로 낮은 편이었다.

▲ 유동연 페이스북 콘텐츠 정책 담당 매니저 [사진=페이스북코리아]

유동연 페이스북 콘텐츠 정책 담당 매니저는 “혐오발언이나 따돌림, 집단 괴롭힘과 같은 항목의 경우 콘텐츠를 맥락을 통해 파악하는 것이 중요하다. 판단에 대한 정확도에 있어 AI에만 의존할 수 없는 영역”이라며 사람이 직접 개입하는 경우도 있다고 설명했다.

이외에도 테러선동, 아동의 나체이미지와 아동 성착취, 불법무기 및 의약품거래와 같은 유해 콘텐츠에 대해선 90% 후반대의 사전감지율을 나타내면서 사용자 신고 이전에 삭제 조치하고 있다고 밝혔다.

페이스북은 전세계 오피스에서 365일 24시간 관리 시스템을 가동하고 있으며 약 1만5000여명의 유해콘텐츠 검토 인력이 근무 중이다. 한국어를 포함 총 50개 이상 언어로 사용자 커뮤니티에 들어오는 신고물을 검토하고 있으며 전직 검사, 인권변호사와 안전전문가 등이 근무하고 있다고 사측은 전했다.

저작권자 © IT비즈뉴스(ITBizNews) 무단전재 및 재배포 금지