상단여백
HOME 임베디드 컴퓨팅
AWS도 AI칩 발표, 추론 성능 최적화 ‘AWS 인퍼런티아(Inferentia)’ 공개
[source=AWS re:Invent)

[IT비즈뉴스 최태우 기자] 아마존웹서비스(AWS)가 인공지능(AI) 추론(Inference) 기능에 최적화된 AI칩과 EC2 인스턴스에 GPU 기반의 추론 가속 서비스 ‘아마존 엘라스틱 인퍼런스(Elastic Inference)’를 공개했다.

아마존웹서비스(AWS)는 26일(현지시간) 미국 라스베가스에서 개최되는 기술 컨퍼런스 ‘AWS 리인벤트(re:Invent) 2018’ 행사 3일째인 28일(현지시간) 저비용·고성능의 머신러닝(ML) 추론 기능에 최적화된 AI칩 ‘AWS 인퍼런티아(Inferentia)’를 공개했다.

AWS Inferentia는 INT8, FP16 혼합정밀도와 같은 다양한 프레임워크를 지원하며 텐서플로, PyTorch와 같은 주요 프레임워크와 ONNX 형식을 사용하는 모델을 지원한다. 2019년 출시될 예정이다.

EC2 인스턴스 유형과 AWS의 ML 서비스인 ‘SageMaker’, 같은 날 발표된 ‘Elastic Inference’도 지원할 예정이다.

Elastic Inference는 총 32TFLOPs의 혼합정밀도 성능을 지원하는 ▲eia1.medium(8 TFLOPs) ▲eia1.large(16 TFLOPs) ▲eia1.xlarge(32 TFLOPs) 3개 타입으로 서비스된다. 다양한 프레임워크를 지원하며 AWS의 ML 서비스인 ‘SageMaker’, EC2 Deep Learning AMI와 통합도 가능하다.

앤디 제시(Andy Jassy) AWS CEO는 키노트 세션을 통해 “현재 AI 출시를 위한 2개 주요 프로세스는 학습모델과 추론모델이다. 이중 기업들은 상용 서비스 개발과 직접 연관돼 있는 AI 추론에 기술개발 비용의 90%를 차지하고 있다”며 “기업은 AI 기술개발에 들어가는 비용을 최대 75%까지 절감할 수 있을 것”이라고 말했다.

최태우 기자  taewoo@itbiznews.com

<저작권자 © IT비즈뉴스-아이티비즈뉴스, 무단 전재 및 재배포 금지>

최태우 기자의 다른기사 보기
icon인기기사
여백
여백
Back to Top