지난 글에 이어 이번 글에서는 물리학과 딥러닝을 통합한 '리지듀얼 피직스(Residual Physics)' 공식을 적용한 토싱봇의 학습사례에 대해 알아본다.

물리학과 딥러닝의 만남
토싱봇의 핵심적인 요소는 기본적인 물리학과 딥러닝을 통합해 던지는 법을 배운다는 점, 그리고 학습 속도가 빠르고 배운 것을 일반화해 새로운 시나리오에도 적용할 수 있다는 점이다.

물리학은 세상의 법칙들에 관한 이전 모델들을 제공하면서, 이 모델을 활용하면 로봇을 제어하는 초기 조종 장치를 제작할 수 있다.

던지기의 경우를 예로 들면, 발사체 탄도학을 기반으로 사물이 목표한 위치에 떨어지도록 하기 위해서는 어느 정도의 속도로 던져야 하는지 예측할 수 있다. 그 다음 신경망을 이용해 알려지지 않은 역학, 현실세계의 노이즈와 변동성을 계산해 예상속도를 조절하게 된다.

리지듀얼 피직스(Residual Physics)라고도 하는 이 하이브리드 공식으로 토싱봇은 85%의 정확도로 사물을 던질 수 있다.

무작위로 설정된 무게의 사물로 처음 학습할 때에는 토싱봇이 사물을 잘 집어 올리지 못하는 경우가 많았다. 하지만 시간이 지나면서 사물을 잘 들어 올리는 방법을 배우고, 동시에 던지는 능력도 향상되었다.

또한 토싱봇은 가끔씩 이전에 시도해보지 않았던 속도로 사물을 던져 보기도 하고, 통이 비어있으면 사물이 통 안으로 미끄러져 들어갈 수 있도록 박스를 들어올리기도 하는데, 이러한 방식으로 학습기간 동안의 인간의 개입은 최소화되었다.

사물을 집어 올려 던지는 시도를 총 1만번(또는 14시간의 학습시간) 반복할 경우 토싱봇은 85%의 정확도로 사물을 던질 수 있으며 여러 사물이 뒤죽박죽 섞여있는 통에서 특정 사물을 정확히 움켜쥘 수 있는 확률은 87%에 이른다.

새로운 시나리오에 맞게 일반화하기
물리학과 딥러닝을 통합함으로써 토싱봇은 처음 보는 사물을 처음 보는 위치로 던지는 과제에 빠르게 적응할 수 있다.

예를 들면 나무블록, 공, 마커와 같은 단순한 형태의 사물로 학습을 진행한 후에는 과일모형, 장식품, 사무용품 등의 새로운 사물로도 비교적 수월하게 작업을 수행할 수 있었다.

새로운 사물을 접한 토싱봇은 처음에는 낮은 성과를 보이지만 수백 회의 학습단계(1~2시간)만에 빠르게 적응하였으며 기존학습에서 사용한 사물과 유사한 성과를 냈다.

실험과정에서 연구팀은 리지듀얼 피직스(Residual Physics)를 물리학과 딥러닝에 결합시키면 기준 용례(물리학을 활용하지 않는 딥러닝 등)에 비해 더 좋은 성적을 낸다는 점을 알게 되었습니다.

연구팀 엔지니어들이 직접 던지기 과제를 수행해보기도 했는데, 놀랍게도 토싱봇이 보통의 엔지니어보다도 더 정확하게 던지기를 할 수 있었다.

우리는 토싱봇이 이전 학습과정에서 겪어본 적 없는 새로운 목표 지점을 일반화하는 능력에 대한 여러 방침을 시험하고 있다.

이를 위해 처음에 여러 개의 상자를 이용해 훈련을 진행한 후, 목표지점이 완전히 다른 새로운 상자들로 테스트를 진행하고 있다. 이러한 실험에서는 리지듀얼 피직스가 던지기에 큰 도움이 된다는 결과를 발견할 수 있었다.

이는 발사체 탄도학으로부터 최초에 유추해 낸 던지는 속도는 새 목표 지점에 맞게 쉽게 일반화될 수 있으며, 잔차(residuals)가 여기서 유추해 낸 속도를 실제 사물의 다양한 성질에 따라 조정하는 데 도움이 되기 때문이다. 이와는 대조적으로, 물리학 없이 딥러닝을 활용하는 기준 용례의 경우에는 훈련과정에서 접해 본 목표의 위치만을 다룰 수 있었다.

글 : 앤디 정(Andy Zeng) / 구글 로보틱스 학생연구원 / 프린스턴대학교·구글