“AI 도입 시 최대 장벽은 GPU 등 인프라 구축 비용”

인공지능(AI) 수요가 빠르게 늘어난 가운데 기업들이 이를 도입을 주저하는 가장 큰 이유로 GPU 등 인프라 구축 비용이라는 조사 결과가 나왔다.

18일 오케스트로는 지난달 클라우드 서비스를 사용하는 기업·공공기관 종사자 6,615명을 대상으로 진행한 설문조사(클라우드 환경에서의 AI 활용방안) 결과를 내고 이같이 밝혔다.

이번 조사에서 응답자들은 AI 도입 시 가장 큰 제약 요인으로 ‘GPU 등 기술 도입 비용(23.5%)’을 꼽았다. 이어 ▲전문인력 부족(22.6%) ▲데이터 보안 우려(14.4%)가 뒤를 이었다. 

AI 도입은 초기 구축비도 크지만 사용량 기반의 과금 구조로 인해 장기적인 총소유비용(TCO) 부담이 크다. 여기에 AI 학습과 운영에 활용되는 핵심 데이터가 외부 클라우드에 저장되면서 보안에 대한 우려의 목소리도 나온다.

비용과 보안이라는 이중 부담 속에서 퍼블릭클라우드 기반 AI 환경의 한계가 분명해지면서, 내부 데이터를 활용한 프라이빗 AI 환경은 선택이 아닌 대세로 자리잡고 있다.

AI에 대한 기대 역시 현실적인 해법에 집중됐다. ‘비용 최적화’와 ‘실시간 보안 대응’이 각각 20.7%로 가장 높았고 ‘장애 원인 분석’(17.1%)과 ‘성능 병목 해소’(15.9%)가 뒤를 이었다. 

이러한 기대는 기업이 실제 겪고 있는 클라우드 운영 과제와도 맞닿아 있었다. 응답 기업들은 ▲비용 최적화(22.7%) ▲보안 관리(19.1%) ▲장애 대응(15.2%)을 주요 과제로 꼽았다. 가장 많은 시간을 투입하는 작업 역시 ▲비용 분석 및 최적화(22.7%), ▲모니터링 및 장애 대응(19.5%) 순으로 나타났다.

운영상의 과제는 기업 규모에 따라 뚜렷한 차이를 보였다. 대기업은 ▲보안 관리와 ▲비용 분석에, 중견기업은 ▲인프라 구성과 ▲모니터링에, 중소기업은 ▲비용 최적화에 집중하고 있었다. 

GPU 투자 여력에서도 격차가 컸다. 중견기업은 월 500만~2천만원대(33.3%)에 몰렸고 대기업은 월 1억원 이상(34.5%)에 집중됐다.

한편 이번 설문에서 전체 응답 기업의 49.1%는 멀티 또는 하이브리드클라우드를 사용 중이라고 답했다. 3개 이상의 클라우드를 동시에 운영하는 비율도 60.2%에 달했다.

오케스트로 김범재 대표는 “GPU 인프라 도입에 대한 부담과 데이터 보안에 대한 우려가 여전한 상황에서 운영 효율성과 자동화를 중심으로 한 실질적인 AI 도입 전략이 중요해지고 있다”며 “오케스트로는 복잡한 클라우드 환경에서도 고객이 비용과 보안 걱정 없이 AI를 안정적으로 도입할 수 있도록 지원하겠다”고 말했다.