카카오브레인이 메타버스 구현의 핵심기술 중 하나인 ‘NeRF(Neural Radiance Fields)’ 알고리즘을 한 곳에 모은 대형 라이브러리를 공개했다.

카카오브레인은 주어진 2D 이미지를 새로운 3D 이미지로 생성하는 대표적인 뉴럴 렌더링 기술 중 하나인 ‘NeRF’와 관련된 알고리즘을 통일된 코드 형태로 모아 오픈소스 커뮤니티 깃허브(GitHub)에 대형 라이브러리 형태로 공개했다.

NeRF는 딥러닝(DL)을 통해 3D 공간의 색과 밀도를 자체적으로 학습해 2D 이미지로부터 새로운 3D 공간을 복원해내는 기술이다. 물체의 색상 및 각도에 따라 달라지는 빛의 반사를 생생하게 재현함으로써 몰입감을 높일 수 있어 대다수 글로벌 테크기업들이 NeRF 기술을 핵심 메타버스 기술 중 하나로 보고 기술 개발·확장에 힘쓰고 있다.

카카오브레인이 공개한 NeRF-Factory 라이브러리는 현재까지 공개된 총 7개의 NeRF 모델을 하나의 코드로 재구현한 형태다. 통일된 코드로 구성돼 NeRF 모델의 성능을 객관적으로 비교할 수 있을 뿐 아니라 기술 개발 확장에도 용이하다. 포스텍 조민수·박재식 교수 연구팀과 카이스트 권인소 교수 연구팀과의 공동연구를 통해 개발됐다.

카카오브레인은 AI 연구자들이 주로 사용하는 ML 프레임워크인 파이토치(PyTorch) 기반의 코드를 사용한 동시에 코드 구조를 단순화함으로써, 기존 AI 연구자들은 물론 NeRF 기술을 처음 접한 개발자들도 쉽게 이용할 수 있도록 접근성을 높였다고 설명했다. 

최근 카카오브레인은 해외 유수의 컴퓨터 비전 학회에 디지털 휴먼 기술 관련 논문을 발표하며 기술 공유에 나서고 있다.

‘ACCV 2022’에서는 다양한 스타일의 얼굴 형태와 표정을 가진 3D 아바타를 자유롭게 생성할 수 있는 Exp-GAN(Expression-GAN) 기술 논문을, ‘ECCV 2022’에서는 실제 얼굴과 거의 유사한 수준의 고해상도 페이스 스와핑(face-swapping)을 수행할 수 있는 MFIM(Megapixel Facial Identity Manipulation) 기술 논문을 발표할 예정이다.

카카오브레인 김일두 대표는 “메타버스 기술 연구에 실질적 도움이 될 NeRF-Factory 라이브러리를 공개하게 됐다”며 “전세계 AI 연구·개발자들이 카카오브레인이 공개한 라이브러리를 활용해 NeRF 및 뉴럴 렌더링 기술 연구 저변을 확대하고, 고품질 메타버스 등 다양한 분야에 적용해 나가길 기대한다”고 말했다.