“통신 특화 LLM으로 효율성 제고”…SKT, 내달 ‘텔코LLM’ 공개한다

SK텔레콤이 5G 요금제, 공시지원금 등 국내 통신용어와 AI 윤리가치와 같은 통신사의 내부 지침을 학습한 ‘텔코LLM’을 내달 공개할 것을 예고했다. 

텔코LLM은 GPT, 클로드 등 범용 대규모언어모델(LLM)이 아닌 통신업에 특화된 LLM이다. SK텔레콤은 “오픈AI, 앤트로픽 등과 협력해 통신 서비스·상품 등 방대한 데이터를 수집해 정형·비정형 데이터를 선별하고, 이를 학습해 통신에 특화된 LLM을 구현 중”이라고 밝혔다.

자사가 보유한 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝한 것이다.

에릭 데이비스 SK텔레콤 AI Tech Collaboration담당은 30일 열린 간담회 현장에서 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정과 모델평가를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티LLM 전략”이라고 소개했다.

다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용절감 면에서의 다변화를 꾀했다. 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성AI 작업을 수행할 수 있어 활용성이 높다는 게 사측 설명이다.

범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF, ; Reinforcement Learning from Human Feedback)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어려운 데, 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 실제 텔코LLM이 답변한 내용에 대해 상담사가 품질·만족도 등을 평가하는 과정을 거치면서 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 통한 강화학습이다.

여기에 텔코LLM의 언어·추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다.

가령 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화 하는 방식이다. 모든 과정은 계속 주기적으로 반복하면서 텔코LLM을 고도화하는 형태다.

SK텔레콤은 텔코LLM을 통한 업무효율성 제고 효과도 기대했다. 현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다.

허나 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 예상하고 있다.

아울러 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 학습하고 있고 신조어나 한국어 욕설, 위협·폭언 식의 문맥 뉘앙스를 정확하게 파악할 수도 있다.

인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수도 있다. 장비 매뉴얼과 대응사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하면서 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다는 설명이다.

정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라와 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무효율성을 높일 것”이라며 “지속적으로 이를 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다.