상단여백
HOME 포커스 핫뉴스
인공지능(AI) 이미지 인식 기술, 무력화 ‘패치’ 발견구글 리서치 논문 발표, 이미지 인식률 오류 유도하는 스티커 공개

[IT비즈뉴스 최태우 기자] 인공지능(AI) 기술이 다양한 산업군에 적용되면서 관련 시장을 크게 바꿔놓고 있다. 특히 이미지 인식 기술의 경우 사용자가 원하는 정보를 입력하면 다양한 관련 이미지를 검색해 제공해주는 서비스는 물론 영상보안관제 시스템에서 사물(사람)을 인식하거나 향후 자율주행기술을 위한 기반 기술로 주목받고 있다. 

이런 가운데 구글이 최근 발표한 논문(Adversarial Patch)을 통해 AI 이미지 인식 알고리즘을 오작동시킬 수 있는 ‘스티커(패치)’를 공개했다. 복잡한 해킹 작업 없이 패치 하나로 현재 대중적으로 활용되는 이미지 인식 알고리즘을 무력화할 수 있다는 점에서 관심이 모아진다.

‘구글 리서치 그룹(Research at Google)’은 지난해 12월27일 ‘적대적인 스티커(Adversarial Patch)’라는 논문을 통해 AI 이미지 인식 알고리즘에 오작동을 유발하는 패치와 실험 결과를 공개했다.

인식 개체(바나나) 옆에 토스터 사진과 패치를 배치한 후의 인식률 결과. 위의 토스트 사진의 경우에는 바나나로 인식했으나 아래의 패치 사진의 경우 토스터로 인식했다. (출처: 유튜브 실험영상 캡처)

논문에 따르면 개체를 확인할 수 없는 추상적 이미지의 원형 패치를 인식하고자 하는 사물 근처에 두면 이미지 인식 알고리즘에 오류가 발생되는 것으로 나타났다.

논문에서 인용한 실험 결과를 보면, 일반적으로 실제 바나나를 97%의 높은 확률로 인식하는 AI가 ‘토스터(Toastr)’로 인식 가능하도록 만들어진 패치를 옆에 놓으면 바나나를 ‘토스터’로 인식하는 것으로 나타났다.

특히 바나나 옆에 실제 토스터 이미지가 인쇄된 이미지를 붙여 놓아도 바나나로 정확히 인식했으나, 패치가 놓여진 상황에서는 99%의 확률로 ‘토스터’라고 인식했다. 위의 실험은 이미지 검색 알고리즘의 하나인 VGG-16을 통해 이뤄졌다.

이번 실험이 주목받고 있는 이유는 논문에서 공개된 패치 이미지(Adversarial Patch)를 다운로드 받아 일반인들도 직접 실험해볼 수 있는 점이다. 

구글이 논문에서 공개한 화이트 앙상블 기술로 적용된 토스터 패치 이미지 (구글 논문 인용)

즉, 별다른 기술적 지식이 없는 사람도 인터넷에서 공유되는 ‘악의적으로 만들어진 패치’를 활용하면 AI 이미지 인식 기능을 교란시킬 수 있다는 설명이다.

예를 들면 도로 위의 교통표지판에 이미지 인식을 교란하는 패치를 붙일 경우 자율주행차에 탑재된 AI는 인식 오류를 발생시킬 수도 있다. 

자율운전기술에 있어 센서(카메라)에서 인식된 이미지에서 인식 알고리즘을 통해 주변 환경을 파악한다. 정지표지판에 전혀 다른 인식을 유도하는 패치가 붙어있다면 다양한 문제가 발생될 수 있다.

구글은 논문을 통해 패치 제작 방법도 공개했다. 패치는 알고리즘 오작동을 위해 디자인되며 효과는 인식 객체에서의 위치, 패치의 방향과 크기에 따라 효과가 달라진다고 설명한다. 최초 디자인된 패치를 좌우로 20도 이내로 방향을 틀어 배치하면 이미지 인식률의 증가감도 가능하다.

토스트 사진과 다양한 위장 기술이 적용된 패치 이미지 비교 그래프 (구글 논문 인용)

패치는 ‘화이트박스 앙상블(White box Ensemble)’ 기술을 통해 생성됐으며 5개의 이미지 인식 알고리즘(Five ImageNet Models: inceptionv3, resnet50, xception, VGG16, VGG19)을 통해 이번 실험을 검증했다고 논문을 통해 밝혔다.

박종훈 정보통신기술진흥센터(IITP) 집필위원은 “드론, 자율운전차와 같은 기술이 일상생활에 확대될 경우 AI를 악용한 공격에 현실적인 방어를 위한 대책이 강구되며, 특히 이미지 인식 알고리즘의 정확도를 개선하는 것이 중요한 과제가 될 것으로 보인다”며 “이와 같은 패치 기술도 진보할 것이며 해커들 또한 AI를 활용하는 만큼 이미지 알고리즘 정확도 개선 노력이 무엇보다 중요할 것”이라고 조언했다.

최태우 기자  taewoo@itbiznews.com

<저작권자 © IT비즈뉴스-아이티비즈뉴스, 무단 전재 및 재배포 금지>

최태우 기자의 다른기사 보기
icon인기기사
기사 댓글 0
전체보기
첫번째 댓글을 남겨주세요.
여백
여백
여백
여백
Back to Top