효율적 토큰 처리로 고용량 정보처리 및 비용절감
SK텔레콤이 한국어에 특화된 대규모언어모델(LLM) ‘에이닷 엑스(A.X) 4.0’을 오픈소스로 공개했다. 3일 허깅페이스에서 공개된 A.X 4.0은 표준 모델과 경량 모델 2종이다.
SK텔레콤은 “A.X 4.0은 현존하는 LLM 중에서도 최상급의 한국어 처리 효율성은 물론 데이터 보안을 고려한 설계를 적용했고 로컬 환경에서의 운영 가능성 등이 강점”이라며 “오픈소스 모델인 큐웬(Qwen) 2.5에 방대한 한국어 데이터를 추가로 학습시켰다”고 소개했다.
SK텔레콤은 A.X 4.0의 토크나이저(Tokenizer)를 자체 설계·적용해 높은 수준의 한국어 처리 역량을 구현했다.
자체 테스트 결과 같은 한국어 문장을 입력했을 때 GPT-4o보다 A.X 4.0이 약 33%가량 높은 토큰 효율을 기록했고 다른 LLM 대비 높은 정보 처리용량에 비용 절감까지 가능한 경제성을 갖췄다는 게 SK텔레콤의 설명이다.
A.X 4.0은 대표적인 한국어 능력 평가 벤치마크인 KMMLU에서 78.3점을 기록해 GPT-4o(72.5점)보다 우수한 성능을 보였다. 한국어 및 한국 문화 벤치마크인 CLIcK에서도 83.5점을 획득하며 GPT-4o(80.2점)보다 더 높은 한국 문화 이해도를 입증했다.
SK텔레콤은 A.X 4.0를 기업 내부 서버에 직접 설치해 사용할 수 있는 온프레미스 방식으로 제공해 기업들이 데이터 보안에 대한 걱정을 덜 수 있도록 서비스할 계획이다.
특히 A.X 4.0 개발 과정에서도 대규모 학습(CPT)의 전 과정을 외부와 연동없이 자체 데이터로 학습해 구현했다. 표준 모델은 720억개(72B), 경량 모델은 70억개(7B)의 매개변수를 갖추고 있어 이용자들이 목적에 맞춰 선택적으로 이용할 수 있도록 했다.
SKT는 “현재 A.X4.0을 지난 5월 에이닷 통화 요약에 적용해 성공적으로 활용하고 있으며, 추후 자사는 물론 SK그룹 내 다양한 서비스에 적용할 계획”이라고 밝혔다.
한편 SK텔레콤은 이번 A.X 4.0 지식형 모델의 오픈소스 공개와 동시에 추론형 모델의 발표도 계획 중이다.
이달 중으로 수학 문제 해결과 코드 개발 능력이 강화된 추론(Reasoning)형 모델을 공개하고 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 수준까지 모델을 업데이트 한다는 목표다.
또 소버린AI 관점에서 A.X 3.0에 적용한 프롬 스크래치(From Scratch) 방식도 병행해 개발을 진행 중이며 차후 후속 모델도 순차 공개할 예정이다.
김지원 SK텔레콤 AI Model Lab장은 “SK텔레콤의 다양한 서비스를 고도화하고,기업 시장에서 한국어 특화 LLM으로 국내 비즈니스 환경에 최적화된 모델이 될 수 있도록 지속적인 기술 개발을 추진할 계획”이라고 밝혔다.
관련기사
- SKT “AI서비스에 리벨리온 NPU 적용 테스트 중”
- 엔비디아, 유럽 AI팩토리 구축 지원 신규 기술 제품군 공개
- “해킹 공격은 혼란이 목적…민·관 협력과 국제적 연대로 대응해야”
- 카카오, AI 가드레일 모델 ‘카나나 세이프가드’ 오픈소스로 배포
- 레드햇 “엔터프라이즈 AI 고객 선택권 강화…AI혁신 지원 확대”
- SK ‘정보보호혁신특위’ 출범…“그룹사 전체 보안 체계 점검·재정비”
- ETRI, 6G 표준 기반 저궤도 위성통신 시스템 개발 총괄
- 알리바바클라우드, 오픈소스 LLM ‘큐원3’ 공개
- 디노티시아, 한국어 논리 추론 최적화 LLM 모델 오픈소스로 공개
- KT, 자체 개발 한국적 AI 모델 ‘믿:음 2.0’ 오픈소스로 푼다