국내 연구진이 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI가속기를 개발했다. CXL-GPU 구조 기술이 적용된 것으로 메모리 병목현상은 줄이고 시스템 구축 비용도 크게 줄일 수 있을 것으로 기대된다.

카이스트(KAIST)는 전기및전자공학부 정명수 교수 연구팀이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.

대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하고 있으나, 최신 GPU의 높은 가격으로 총소유비용(TCO)을 증가시키는 원인으로도 꼽힌다.

차세대 연결 기술인 CXL(Compute Express Link)을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 ‘CXL-GPU’ 구조 기술이 다양한 산업계에서 활발히 검토되고 있다.

CXL을 통해 연결된 메모리 확장 장치의 메모리 공간을 GPU 메모리 공간에 통합하는 CXL-GPU 구조는 통합된 메모리 공간 관리에 필요한 동작은 CXL 컨트롤러가 자동으로 처리하기에 GPU는 기존에 로컬 메모리에 접근하던 방식과 동일한 방식으로 확장된 메모리 공간에 접근할 수 있는 장점이 있다.

메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리 CXL-GPU 구조는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용도 줄일 수 있다.

허나 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론/학습 성능이 요구되는데, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기/성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 실제 서비스에 활용될 수 있다.

KAIST 연구진은 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발, GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 

메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 해 GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 한 것이다.

연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치에서 미리 힌트를 주는 기술도 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 수행해 GPU 장치가 실제 데이터를 필요로 할 때는 캐시에서 데이터를 읽어 빠른 메모리 읽기 성능을 달성할 수 있다는 것이다.

이번 연구는 반도체 팹리스 스타트업 ‘파네시아(Panmnesia)’의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 

파네시아는 KAIST 출신 석·박사 인력과 정명수 교수가 함께 설립한 KAIST 창업기업으로, 지난해 GPU와 대용량 뉴메모리 기반의 메모리확장장치를 연결한 AI가속기 ‘트레이닝CXL(TrainingCXL)’를 개발·공개한 바 있다.

연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 이 연구는 이달 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표회에서 공개될 예정이다.

KAIST 전기및전자공학부 정명수 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라 말했다.