위협 증가로 자동화된 AI 감독 요구 증대
2030년 에이전틱AI 분야 두 자릿수 점유율 확보 예측
가트너가 ‘가디언 에이전트’를 에이전틱 인공지능(AI) 시대에 주목해야 할 기술로 선정했다. 신뢰할 수 있는 AI에 대한 요구 증대로 에이전틱 AI의 역할도 확대된다는 것이다.
가트너는 2030년까지 가디언 에이전트가 전체 에이전틱 AI 시장의 최소 10~15%를 차지할 것으로 예측했다.
가디언 에이전트는 신뢰할 수 있고 안전한 AI 상호작용을 지원하는 AI 기반 기술로 사용자의 콘텐츠 검토·모니터링·분석 등을 돕는 AI어시스턴트 역할을 수행한다. 반자율 혹은 완전자율 에이전트로써 실행 계획을 수립하고 수행하며 사전정의된 목표에 따라 동작을 조정하거나 차단하는 점도 특징이다.
실제로 가트너의 설문조사에 따르면, 응답자의 24%는 12개 미만의 AI에이전트를 구축하고 있으며, 4%는 이미 12개 이상을 도입한 것으로 나타났다. 이는 에이전틱AI 활용의 지속적으로 증가하면서 이를 통제하기 위한 가드레일의 필요성이 부각되고 있음을 시사한다.
또 응답자의 50%는 현재 AI에이전트 기술을 연구하거나 실험 중이라고 답했으며, 17%는 늦어도 2026년 말까지 이를 구축할 계획이라고 밝혔다. AI에이전트를 일관되고 안전하게 운용하기 위해서는 신뢰·위험·보안에 대한 자동화된 제어 체계가 필요한 것으로, 이는 가디언 에이전트의 필요성을 부각시킨다고 가트너는 분석했다.
아비바 리탄 가트너 수석VP애널리스트는 “적절한 가드레일 없이 에이전틱AI를 사용할 경우, 원치 않는 결과가 발생할 수 있다”며, “가디언 에이전트는 광범위한 에이전틱 AI 기능과 AI 기반의 결정론적 평가를 활용해 모든 에이전트 기능을 관리 감독하고, 런타임 의사결정과 위험 관리의 균형을 맞춘다”고 강조했다.
한편 AI에이전트의 사용사례가 지속적으로 확대되면서 다양한 위협이 대두되고 있다.
가트너가 주목한 주요 위협 유형으로는 ▲에이전트가 조작되거나 잘못된 데이터에 의존해 발생하는 입력 조작과 데이터 중독 ▲자격 증명 탈취·남용으로 인한 무단 제어와 데이터 유출 ▲가짜 또는 악성 소스와 에이전트가 상호작용하면서 발생하는 유해 작업 ▲내부 결함 또는 외부 요인에 의한 에이전트의 이탈과 의도치 않은 행동으로 초래되는 평판 손상과 운영 중단 등이다.
가트너는 향후 가디언 에이전트가 활용 유형과 관계없이 상호작용·이상징후를 관리하는 역할을 수행할 것으로 전망했다. 이들 기능은 가디언 에이전트 통합의 핵심 요소로 작용하며, 2028년까지 AI 애플리케이션의 70%가 다중 에이전트 시스템을 도입하는 동력으로 작용할 것으로 예상된다.
리탄 수석VP애널리스트는 “기업이 다중 에이전트 시스템으로 전환하면서 시스템의 복잡성과 빠른 통신 속도로 인해 인간의 개입만으로는 오류와 악의적 활동의 잠재적 위협을 감지하고 대응하기 어려워지고 있어 AI 애플리케이션과 에이전트를 자동으로 감독하고 제어·보호할 수 있는 가디언 에이전트의 시급한 필요성이 높아지고 있다”고 분석했다.
관련기사
- 슬랙 AI, 엔터프라이즈 검색에 한국어 지원 추가
- 유아이패스 “로봇-사람 간 프로세스 최적화, AI 도입 장벽 해소할 것”
- 스노우플레이크, 지능형 에이전틱AI 2종 정식 공개
- 레드햇· GCP, 엔터프라이즈 개방형 AI 협력 강화
- 카카오, 언어모델 ‘카나나’ 4종 오픈소스로 공개
- 워크데이 “인간-AI에이전트 간 협업 확산으로 혁신 가속화”
- 유아이패스, ‘에이전틱 자동화 역량 향상 교육·인증 확대
- MS ‘빌드 2025’ 개막…오픈 에이전틱 웹 실현 ‘박차’
- 엔비디아, 에이전틱 AI·추론 모델 혁신 가속
- 가트너 “생성AI 기반 코드 아키텍처, 기존 UI 대체할 것”