Abstract:

전방위 영상은 하나의 시점에서 얻을 수 있는 모든 시각적 정보를 제공하는 데 반해, 일반적인 시야각을 가지는 영상은 해당 시점에서의 제한된 정보만을 가지고 있다. 한 편, RGB 정보와 함께 깊이 (D) 정보를 가지고 있다면 3차원 재구성 혹은 3차원 표현에 널리 이용되는 색상 정보를 포함한 3차원 점군 데이터를 만들 수 있게 된다. 그러므로, 전방위 이미지나 일반적인 시야각의 RGBD 데이터를 가지고 있는 것에 비해서, 전방위 RGBD 데이터를 만들어낼 수 있다면 더욱 몰입감 있는 정보를 제공할 수 있게 된다.  그러나, 해당 문제는 영상과 깊이정보라는 높은 상관관계를 가지면서도 서로 다른 양상을 가지는 데이터를 동시에 다뤄야 하므로 풀기 어려운 문제이며, 동시에 많이 다루어 지지 않은 주제이다. 따라서, 본 논문은 전방위가 아닌 RGB 정보와 제한된 깊이 정보로부터 전방위 RGBD 데이터를 ‘생성’해 내는 새로운 문제를 제시한다. 임의의 구성을 가지는 카메라와 깊이 센서로부터 취득한 정보를 입력 받는 합성곱 심층 신경망을 학습시킴으로써, 해당 네트워크가 입력 정보에 해당하는 현실적인 RGBD 파노라마 정보를 생성해 낼 수 있게 된다. 이렇게 생성된 RGBD 파노라마 정보를 평가할 방식이 존재하지 않으므로, 해당 정보의 시각적 품질을 평가할 수 있는 방법을 추가적으로 제안한다. 제안하는 방법이 시각적으로 만족스러운 RGBD 파노라마를 임의의 카메라와 깊이 센서 구성으로부터 생성해 낼 수 있으며, 제안하는 평가 방법이 사람의 인식 능력과 높은 상관 관계가 있음을 실험적으로 보인다.