초보화가는 호수에 투영된 눈덮인 산봉우리가 인상적인 일몰풍경을 담아내기 위해 캔버스와 붓을 사용한다. 결과는? 여러색상의 물감이 덧대진 서투른 그림만 남게 된다.

엔비다아 리서치에서 개발한 딥러닝 모델을 사용하면 초보화가도 사실주의 화가로 거듭날 수 있다. GAN(Generative Adversarial Network)을 활용한 딥러닝 모델로, 세그먼트 맵을 현실적인 이미지로 변환하는 툴이다. 애플리케이션의 이름은, 인상파 화가인 폴 고갱(Paul Gauguin)의 이름을 딴 '고갱(GauGAN)'이다.

GauGAN은 건축가와 도시기획자, 조경디자이너와 게임개발자 모두 가상현실을 구현하기 위한 강력한 기능을 제공한다. 현실세계의 모습을 이해하는 인공지능(AI)을 사용하면서 아이디어를 구체화하기 위한 프로토타입을 빠르게 구현할 수 있다.

NVIDIA의 심층학습 연구 담당 부사장인 브라이언 코탄잘로(Bryan Catanzaro)는 GauGAN의 기술을 거친 세그먼트 맵의 세부사항을 채울 수 있는 '스마트 붓'으로 비유하기도 한다. GauGAN을 사용하면 사용자가 자신의 세그먼트 맵을, 그리고 장면을 조작하여 각 세그먼트에 모래, 하늘, 바다 혹은 눈과 같은 레이블을 표시 할 수 있다.

브라이언 코탄잘로는 이 툴을 신경망은 실제 이미지로 학습된 것을 토대로 세부묘사는 물론 질감, 반사, 그림자와 색상 모두를 채울 수 있어, 색칠공부 그림책과 비유하기도 한다.

수백만 개 이미지로 학습된 이 딥러닝 모델은 뛰어난 결과물로 장면을 연출하는 데 도움을 준다. 예를 들어, 연못과 주변을 둘러싼 나무, 바위가 물에 비친 모습을 구현할 수도 있다. 영역 라벨을 잔디에서 눈으로 바꾸면 잎이 무성한 벌판의 이미지는 한겨울 풍경으로 변경된다.

GAN은 현실세계에 대한 부족한 이해에도 불구하고 생성구조(generator)와 감별구조(discriminator)로 이뤄진 네트워크 쌍 구조를 이해하면서 실제와 같은 이미지 결과물을 만들어 낼 수 있다.

생성구조가 이미지를 형성해서 감별구조에게 제시하면, 실제 이미지로 학습된 감별구조는 합성 이미지에 현실감을 더하기 위한 방법으로 픽셀별 피드백으로 생성자를 지도하는 구조를 띄고 있다.

실제 이미지로 학습을 거친 감별구조는 실제로 연못이 어떠한지 인식할 수 있으며, 호수 표면에는 반사된 사물의 특징도 판단할 수 있다. 생성구조는 감별구조로부터 설득력 있는 모방법을 합습할 수 있는 구조다.

사용자는 이 툴을 활용해 생성된 이미지를 특정 화가의 화풍으로 조정할 수도 있고, 오후 시간대의 이미지를 늦은 밤 시간대의 이미지로 변경하는 스타일필터를 추가할 수도 있다.

GauGAN은 여타 이미지에서 가져온 다양한 부분을 조합(합성)하거나 연결하는 단순한 기술이 아니다. 오히려 초보화가가 그림을 배우는 방법과 흡사한 방법으로 새로운 이미지를 구현하는 기술이라고 할 수 있다. 엔비디아는 GauGAN의 연구보고서를 오는 6월 CVPR 회의에서 발표할 예정이다.

글 : 이샤 살리안(Isha Salian) / 과학·인공지능 라이터 / 엔비디아