카이스트(KAIST) 조천식모빌리티대학원 공승현 교수 연구팀이 악천후 상황에서 안정적인 자율주행을 지원하는 4D 레이더의 주변 객체인식(OD) 인공지능(AI) 기술을 개발했다고 20일 밝혔다. 

연구팀은 구축된 AI 학습 데이터셋인 KAIST-레이더(K-레이더)와 개발된 AI 신경망(RTN4D), 4D 레이더 AI 개발 플랫폼과 관련 벤치마크 데이터 모두 오픈소스로 공개한다는 방침이다.

전세계적으로 개발되고 있는 자율주행 자동차는 주로 카메라와 라이다(LiDAR)에서 출력되는 이미지와 포인트 클라우드(Pointcloud) 데이터를 적절한 AI 신경망으로 처리해 자동차 주변의 객체들을 인식하는 방식으로 구현돼 있다.

허나 카메라와 라이다는 각각 가시광선, 적외선을 사용하면서 눈이나 비가 내리는 악천후 상황이나 안개가 낀 상황에서 측정 성능이 크게 떨어진다. 차내에 설치할 수 있는 카메라와 달리 라이다는 외부 환경에 노출돼 있다.

공승현 교수는 “젖은 도로에서 전방에 주행 차량이 있는 경우 바퀴에서 일어나는 흙먼지가 섞인 물보라로 라이다 표면에 이물질이 붙어 결과적으로 모든 전방 객체에 대한 라이다 측정이 불가능해진다”고 설명한다.

라이다와는 달리 77GHz 대역의 자동차 레이더는 눈, 비, 안개 등의 악천후 상황과 눈비나 흙먼지가 묻은 상황에서도 대체적으로 안정적인 측정 결과를 보인다. 최근에는 고해상도의 4D 레이더도 개발·상용화된 상태다.

다만 4D 레이더의 포인트 클라우드 데이터셋이 일부 공개됐으나 데이터의 양이 충분하지 않고 측정치가 희소해 신뢰할 만한 객체인식 AI 신경망 개발이 쉽지 않다. 

연구팀이 공개하는 K-레이더는 악천후를 포함한 다양한 날씨 및 교통 상황에서 수집된 다양성 높은 데이터셋이다. 정확히 동기된 카메라와 라이다 측정 데이터와 함께 구축된 13TB에 이르는 대용량으로 세계 최초의 4D 레이더 데이터셋이라는 게 연구팀의 설명이다.

포인트 클라우드 형태가 아닌 AI 신경망의 성능을 극대화할 수 있는 텐서(Tensor) 형태의 데이터셋으로 일반적인 레이더의 잡음 제거 방식을 사용하지 않아 잡음 수준의 미약한 미세 측정치를 온전히 담고 있다.

연구팀이 개발한 4D 레이더 AI 신경망(RTN4D)은 K-레이더로 학습을 진행하면서 다양한 날씨와 도로 상황에서 70m 이내의 객체에 대해 객체 판별, 위치 추정 및 주행 방향 등 3개 추정을 정확히 수행하는 경우가 최종 62.5% 수준이다.

연구팀은 연구자들이 자체적으로 데이터를 추가 구축하고 신경망 기술을 개발, 성능을 자체 평가할 수 있도록 레이더용 AI 신경망 개발 플랫폼과 벤치마크도 연구실 홈페이지와 깃허브를 통해 공개할 예정이다.

공승현 교수는 “눈, 비가 오는 날씨에서 4D 레이더 AI 신경망은 기존 라이다 AI 신경망 보다 훨씬 더 안정적인 주변 객체인식 성능을 갖는데, 이는 4D 레이더가 악천후에서 자율주행을 위한 필수 센서임을 보여주는 결과”라며 “최근 웨이모, 모빌아이가 수년 내로 4D 레이더를 자율주행의 주요 인지센서로 활용할 계획임을 공개적으로 밝힌 이유”라고 말했다.

이어 “우리 연구팀이 공개한 K-레이더와 4D 레이더 AI 개발 플랫폼 및 벤치마크를 통해, 향후 4D 레이더 관련 연구가 더 활발히 진행될 것으로 기대한다”고 전했다.

한국연구재단(NRF) 및 정보통신기획평가원(IITP)의 지원과 스마트레이더시스템의 협력으로 수행된 이번 연구결과는 올해 12월에 열리는 ‘뉴립스(NeurIPS) 2022’ 컨퍼런스 데이터셋&벤치마크 트랙에서 공개 예정이다.