[IT비즈뉴스 최태우 기자] 엔비디아가 실시간 대화형 인공지능(AI) 추론 소프트웨어(SW)인 엔비디아 텐서RT7(NVIDIA TensorRT 7)을 공개했다. 인간-AI 간 상호작용을 지원하면서 음성 에이전트(Voice Agent), 챗봇, 큐레이션 엔진과 같은 애플리케이션 설계를 지원하는 엔비디아의 7세대 추론 소프트웨어개발키트(SDK)다.

주니퍼리서치(Juniper Research)에 따르면 전세계 디바이스에서 약 32억5000만개의 디지털 음성비서가 사용되고 있다. 2023년까지 숫자가 현재 전세계 총 인구 수를 넘어선 80억개까지 증가할 것으로 예상된다.

19일 엔비디아에 따르면, 텐서RT7은 AI 음성 애플리케이션을 구현하는데 필요한 트랜스포머(transformer) 기반의 순환신경망(RNN)을 자동으로 최적화하고 가속화하도록 설계된 최신 딥러닝 컴파일러를 제공한다.

이를 통해 대화형 AI의 구성요소가 CPU에서 실행될 때 보다 10배 이상 빠르고 지연시간은 실시간 상호작용에 필요한 수준인 300밀리 초 임계값 미만으로 단축된다는 게 사측 설명이다.

텐서RT7은 RNN이라는 순환루프구조(recurrent loop structures)를 사용하는 시계열(time-series) 시퀀스 데이터 시나리오(sequence-data scenarios)를 예측하는 용도로 활용되는 AI 모델을 빠르게 확장될 수 있도록 지원한다.

RNN은 대화형 AI 음성 네트워크 외에도 차량이나 위성의 도착 시간 계획, 전자 의료 기록에 기입될 상황 예측, 금융자산 예측, 사기행위 감지 등의 목적에도 사용될 수 있다.

아울러 텐서RT7은 하이퍼스케일 데이터센터, 내장형 또는 자동차용 GPU 플랫폼을 통해 훈련된 추론 신경망을 빠르게 최적화-검증-배포할 수 있도록 지원한다.

엔비디아 개발자 프로그램 회원을 대상으로 무료로 배포되며, 텐서RT 깃허브(GitHub) 저장소에서는 최신 버전의 오픈소스 플러그인, 파서(parser), 샘플이 제공된다.

젠슨 황 엔비디아 창립자 겸 CEO은 “기계가 인간의 언어를 실시간으로 이해할 수 있게 된 새로운 AI 시대에 들어선 현재, 텐서RT7은 전세계 개발자들에 인간과 AI 간의 보다 자연스러운 상호작용을 지원하는 빠르고 스마트한 대화형 AI 서비스를 구축-배포할 수 있도록 지원하게 될 것”이라고 말했다.