인텔이 ML커먼스가 발표한 MLPerf 트레이닝 v3.1 벤치마크 측정에서 2배 이상 GPT-3 성능향상 결과를 기록했다고 전했다. 이번 벤치마크는 가우디2 가속기와 인텔 어드밴스드 매트릭스 익스텐션이 탑재된 4세대 인텔 제온 스케일러블 프로세서를 기반으로 FP8 데이터 유형을 적용해 진행됐다. 

13일 인텔에 따르면, 가우디2는 FP8 데이터 유형 구현으로 6월 MLPerf 벤치마크 대비 학습 시간을 절반 이상 단축했고 384개의 인텔 가우디2 가속기를 사용한 테스트에서는 153.38분 만에 학습을 완료했다.

가우디2 가속기는 E5M2, E4M3 형식 모두에서 FP8을 지원하며 필요 시 지연 스케일링 옵션도 제공한다.

또 BF16을 사용해 스테이블 디퓨전 멀티모달 모델에 대한 학습 시연에서 인텔은 64개의 가우디2 가속기로 20.2분 만에 완료했다. 인텔은 향후 MLPerf 트레이닝 벤치마크에서 FP8 데이터 유형에 대한 스테이블 디퓨전 성능을 제출할 예정이다.

이 외 8개의 인텔 가우디2 가속기를 이용한 BERT와 ResNet-50 벤치마크에서는 각각 BF16을 사용해 13.27분과 15.92분을 기록하는 우수한 성능을 나타냈다고 전했다.

인텔은 "가우디2가 인공지능(AI) 컴퓨팅 요구사항에 있어 엔비디아 H100을 대체할 수 있는 대안이 될 수 있음을 보여주는 결과"라고 풀이했다. 

4세대 제온 프로세서는 6월 MLPerf 벤치마크에 제출된 강력한 기본 성능 결과와 유사한 결과를 보였다.

인텔은 소프트웨어 업데이트와 최적화를 통해 향후 MLPerf 벤치마크에서는 AI 성능 결과가 더욱 향상될 것으로 예상하면서 4세대 제온 프로세서는 범용 CPU를 바탕으로 중소 규모의 딥 러닝 모델을 비용효율적 대안이 돼 AI 솔루션에 대한 고객의 선택권을 넓힐 것으로 기대했다. 

인텔 데이터센터·AI그룹 총괄 산드라 리베라 수석부사장은 “가우디 및 4세대 제온 프로세서는 뚜렷한 가격 대비 성능 이점을 제공한다. 인텔의 다양한 AI 하드웨어와 소프트웨어 구성은 고객에게 AI 워크로드에 맞는 포괄적인 솔루션과 선택지를 제공한다”고 말했다.