엔비디아가 아마존웹서비스(AWS) 인공지능(AI) 서비스 전반에 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다. 이번 조치로 엔비디아 네모트론4를 비롯한 4종의 NIM이 AWS와의 협력 확대를 통해 제공돼 생성AI 애플리케이션을 위한 더 빠른 AI 추론과 짧은 지연 시간을 지원한다.

엔비디아 NIM 마이크로서비스는 AWS 마켓플레이스, 아마존 베드록 마켓플레이스, 아마존 세이지메이커 점프스타트에서 직접 제공된다. 이를 통해 개발자는 일반적으로 사용되는 모델에 대해 엔비디아 최적화 추론을 대규모로 더 쉽게 배포할 수 있다고 엔비디아는 설명했다.

엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼의 일부로 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다.

엔비디아에 따르면, 사전구축된 컨테이너는 엔비디아 트리톤 추론 서버, 엔비디아 텐서RT, 엔비디아 텐서RT-LLM, 파이토치와 같은 강력한 추론 엔진을 기반으로 구축됐다.

아울러 오픈소스 커뮤니티 모델부터 엔비디아 AI 파운데이션 모델, 맞춤형 모델에 이르기까지 광범위한 범위의 AI 모델을 지원한다. NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(EC2), 아마존 엘라스틱 쿠버네티스 서비스(EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다.

개발자들은 일반적으로 사용되는 모델과 모델 제품군으로 구축된 100개 이상의 NIM 마이크로서비스를 엔비디아 API 카탈로그에서 미리 볼 수 있다.

메타의 라마3, 미스트랄AI의 미스트랄과 믹스트랄, 엔비디아 네모트론, 스태빌리티AI의 SDXL 등이 포함되며 가장 일반적으로 사용되는 모델은 AWS 서비스에 배포하기 위한 자체 호스팅에 사용할 수 있고 AWS의 엔비디아 가속컴퓨팅 인스턴스에서 실행되도록 최적화돼 있다.