세일즈포스가 기업의 인공지능(AI) 활용이 소비자 신뢰도에 미치는 영향과 성공적인 AI 활용을 위한 핵심 과제를 분석한 보고서(AI 시대의 고객경험 현황)를 내고 AI 활용에 대한 신뢰도는 감소한 반면 개인화 서비스에 대한 평가는 개선됐다고 전했다.

16일 보고서에 따르면, 기업의 윤리적 AI 활용 관련 소비자 신뢰도 42%로 전년 대비 16%p 하락한 가운데 응답자의 71%가 1년 전과 비교해 기업에 대한 신뢰도가 하락했다고 응답했다.

특히 응답자의 61%는 AI 기술의 발전으로 인해 기업 신뢰도가 더욱 중요해졌다고 답했지만, 윤리적 AI 활용에 대한 신뢰도는 오히려 낮아진 것이다.

이와 달리 개인화된 서비스 측면에서는 큰 진전이 보여졌다. 기업이 고객 개개인의 특성을 이해하고 있다고 느끼는 소비자 비율은 2023년 39%에서 2024년에는 73%로 크게 증가한 것이다.

다만 기업의 데이터 활용이 자신에게 도움이 된다고 생각하는 비율은 2022년 60%에서 2024년 49%로 하락했다.

응답자의 71%는 개인정보 보호에 더 민감해졌다고 응답했다. 이는 데이터 활용과 개인정보 보호 간의 균형을 맞추는 것이 기업의 중요한 과제임을 시사하는 것으로, 특히 기업의 AI 활용에 대한 소비자들의 기대치가 높아진 것으로 세일즈포스는 분석했다.

응답자들은 기업의 신뢰도 향상을 위한 요인으로 ▲AI 활용 투명성(42%) ▲결과물에 대한 인간의 검증(35%) ▲AI 사용량에 대한 사용자 제어 강화(32%) ▲결과물의 설명 가능성(31%) 등을 지목했다. 71%의 응답자가 AI의 결과물을 사람이 검증하는 것이 중요하다고 응답했다.

세일즈포스는 이와 관련해 AI 활용에 있어 기업이 투명하고 명확한 기준을 제시해야 할 필요성이 높아진 것이라고 분석했다. 

AI의 장기 전망에 대해서는 긍정적인 의견이 우세했다. 49%의 응답자가 향후 10년 내 AI가 인간의 능력과 비슷한 수준에 도달할 것으로 기대하는 가운데 Z세대와 밀레니얼 세대에서 사람을 대신해 행동할 수 있는 능력을 갖춘 자율형 AI에이전트에 대한 긍정적인 반응이 두드러졌다.

이들 중 43%는 AI에이전트를 통해 고객경험의 수준이 향상됐다고 평가했으며, 이는 베이비부머 세대(32%)와 큰 차이를 보였다. 

AI에이전트의 실제 활용에 있어서는 업무 특성에 따른 선호도 차이가 뚜렷했다. 일정 예약(40%)이나 개인화된 콘텐츠 제작(38%) 등 단순 업무에는 긍정적인 평가를 보였으나 재정적인 결정(58%), 의료 상담(44%) 등 전문성이 필요한 영역에서는 불편함을 느끼고 있다고 응답한 비율이 상대적으로 높았다.

또 응답자의 72%는 AI에이전트와 대화 중이라는 사실을 인지하고 싶어했으며, 46%는 필요할 때 사람과 연결될 수 있는 경로의 필요성을 강조했다. 45%는 AI가 의사결정을 내린 근거가 명확히 설명될 때 더 신뢰할 수 있다고 응답했다. 

이는 AI에이전트가 AI의 한계를 보완해 인간과 적절히 상호작용하는 것이 고객 신뢰 형성에 중요한 요소이며, 복잡하거나 민감한 상황에서 투명성과 안정성을 보장하는 것이 시장 내 경쟁우위를 확보하기 위한 핵심 요인으로 작용할 수 있음을 의미한다고 보고서는 분석했다.