1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다.

- 저는 실내 공간을 모델링하는 기술에 대해 연구하고 있습니다. 공간 모델링 기술은 실제 공간을 센서로 스캐닝하여 컴퓨터와 사람이 활용 가능한 데이터로 저장하는 기술입니다. 공간 모델링 기술은 우리가 원하는 공간(예를 들면 각 도시의 랜드마크나 부동산 매물)을 데이터로 저장합니다. 이를 활용하면 사용자가 직접 이동하지 않더라도 컴퓨터 혹은 VR 기기를 통해 원하는 공간을 간접적으로 체험할 수 있습니다. 또한, 문화유산에 대한 공간 모델 데이터를 확보해 두면 혹시나 숭례문이나 노트르담 대성당 화재와 같이 문화재가 소실되는 사건이 발생했을 시 이를 복원하는 작업에 활용할 수 있습니다. 이러한 공간 모델링을 위해서는 여러 가지 기술이 필요합니다. 오늘은 그중에서 3가지 기술 (센서 캘리브레이션, SLAM, 공간 모델 생성)에 대해서 소개해 드리고자 합니다.

1) [센서 캘리브레이션] 공간을 스캐닝하기 위해서는 여러 센서를 사용하게 됩니다. 대표적으로는 공간의 영상 정보와 기하 정보를 취득하는 카메라와 LiDAR가 있습니다. 센서의 회전 정보를 알 수 있는 IMU도 많이 사용합니다. 센서 캘리브레이션 기술은 각 센서가 (혹은 여러 대의 센서가) 공간의 정보를 정확하게 취득할 수 있도록 센서를 보정하는 기술입니다. 이를 위해 먼저 센서를 수식으로 모델링합니다. 다음으로 센서가 취득한 정보와 센서 모델이 일치하는 정도를 지표(흔히 cost라고 부릅니다)로 나타냅니다. 마지막으로 이 지표를 최적화하는 센서 모델을 찾는 것이 일반적인 센서 캘리브레이션 과정입니다.



2) [SLAM] 이제 캘리브레이션이 끝난 센서를 사용하여 공간을 스캐닝하려고 합니다. 센서의 시야각은 제한되어 있기 때문에 센서가 한곳에 고정되어 있다면 전체 공간에 대한 정보를 취득할 수가 없겠지요. 그렇기 때문에 센서는 여러 위치로 움직여가며 공간을 스캐닝해야 합니다. 하지만 센서를 이동하며 얻은 개별 정보를 서로 연동하기 위해서는 센서가 데이터를 얻었을 때 센서의 위치를 알아야 하는 문제가 발생합니다. 이때 필요한 기술이 센서(혹은 로봇)의 위치 인식(localization)과 환경의 지도작성(mapping)을 동시에 수행하는 SLAM (Simultaneous Localization and Mapping) 기술입니다.

SLAM 문제를 풀기 위해서는 센서가 데이터를 얻은 여러 위치 사이의 관계를 수식으로 모델링하는 단계가 필요합니다. 이를 위해 먼저 센서가 특정 시점에서 얻은 데이터를 그 이전(혹은 그 이후)에 얻은 센서 데이터와 비교하여 데이터를 얻은 시점 사이의 위치 관계를 찾습니다. 이러한 위치 관계 추정은 시간상으로 연속된 정보를 활용합니다. 하지만 시간이 지날수록 에러가 누적되는 문제가 발생하기 때문에 센서가 같은 위치를 다른 시점에서 스캐닝할 때 전체 공간상으로 측정값이 잘 맞지 않는 경우가 발생합니다. 그래서 전체 위치 관계를 최적화하는 단계가 필요합니다. 최적화까지 성공적으로 마무리된다면 센서가 취득한 여러 위치에서 얻은 데이터를 모아 전체 공간에 대한 데이터를 얻게 됩니다.

3) [공간 모델 생성] SLAM의 결과로 얻은 전체 공간에 대한 데이터 형식은 어떤 센서를 사용했느냐에 따라 다릅니다. LiDAR를 사용했다면 공간의 기하 정보를 3차원 점들의 집합으로 나타내는 데이터를 얻게 됩니다. 카메라를 사용하였다면 좀 더 에러가 있고 듬성듬성하지만 색상정보를 가지고 있는 점들의 집합을 얻게 될 것입니다. 이러한 공간의 데이터는 센서가 얻은 정보를 모아둔 것이기 때문에 전체 공간을 효율적으로 표현하지 못합니다. 하나의 벽을 표현하기 위해 수백만 개의 점을 사용하기도 합니다. 그래서 공간 데이터를 다듬어 사람이나 컴퓨터가 다루기 쉬운 모델로 만드는 공간 모델 생성 기술이 필요합니다. 공간 모델을 생성하기 위해서는 공간을 어떻게 표현하고 싶은지를 정해야 합니다. 누군가는 공간을 평면의 조합으로 표현 할 수도 있고 누군가는 곡선(spline curve)의 조합으로 표현하고 싶을 수도 있습니다. 벽의 높이는 항상 같아야 하는가 아니면 다를 수 있느냐에 따라서도 표현 방식이 달라질 것입니다. 이렇게 모델을 정하고 나면 공간 데이터를 그 모델에 맞추어 최적화하는 과정이 필요합니다. 공간의 기하 정보와 텍스쳐 이미지를 연동할 때도 기하 정보와 이미지를 연동하는 모델을 생성하고 최적화 과정을 수행하게 됩니다.

- [공간 모델 영상]
 

눈치채셨는지 모르겠지만 위의 3가지 기술은 크게 보면 모두 같은 단계를 거칩니다. 먼저 세상(센서, 위치 관계, 공간 모델)을 수식으로 표현합니다. 다음으로 우리가 센서 등을 통해 얻은 정보가 우리가 사용하는 수식 모델과 얼마나 부합하는지를 판단하는 지표를 만듭니다. 마지막으로 이 지표를 최적화하여 우리가 알고 있는 정보를 기준으로 가장 모델에 부합하는 결과를 만들어 냅니다. 이러한 최적화 문제가 공학에서 분야를 가리지 않는 핵심 중 하나입니다. 그렇기 때문에 항상 이러한 틀을 가지고 ‘문제를 어떻게 모델링 할까’ 그리고 ‘이 문제를 어떻게 최적화해야 하나’를 고민하며 연구하고 있습니다.


2. 2020년 Journal of Field Robotics (JFR) 논문에서 카메라와 LiDAR의 정확한 위치 관계 보정을 위해 Gaussian Mixture Model 사용을 제안하셨는데 어떤 연구인지 소개를 부탁드립니다.

- 환경의 영상 정보와 기하 정보를 취득하는 카메라와 LiDAR는 로봇이 주변 환경을 인식하고 자신의 위치를 인식하는 SLAM에서 사용하는 대표적인 센서입니다. 두 센서는 서로 상호보완적인 특징을 가지고 있어 동시에 사용할 수 있으면 SLAM 알고리즘의 성능향상을 이끌어 낼 수 있습니다. 그래서 두 센서 사이의 위치 관계를 추정하는 extrinsic 캘리브레이션 문제는 중요하고 계속 연구되고 있는 주제입니다.

초기 카메라-LiDAR 캘리브레이션 연구는 체커보드와 같이 캘리브레이션을 위한 임의 타겟을 사용했습니다. 임의 타겟을 카메라와 LiDAR에서 동시에 인식하고 정렬하여 두 센서 사이의 위치 관계를 찾았습니다. 이후에는 임의 타겟을 설정하는 것에서 벗어나 알고리즘의 범용성을 높이는 방향으로 발전하였습니다.

제가 JFR에 발표한 연구도 일반적인 환경에서 타겟 없이 카메라와 LiDAR 사이의 캘리브레이션을 수행합니다. 카메라의 이미지와 LiDAR의 포인트 클라우드에서 경계선(edge)에 해당하는 영역을 추출하고 이를 정렬하는 방식을 사용했습니다. 경계선은 우리가 생활하는 환경에서 쉽게 찾아볼 수 있는 특징점이기 때문에 캘리브레이션 타겟을 임의로 제작하는 수고를 덜 수 있습니다. 또한 장기간 주행 중 센서의 캘리브레이션 정보가 틀어지더라도 현재 취득한 데이터만 가지고 캘리브레이션을 다시 수행할 수 있는 장점도 덤으로 가지게 됩니다.
정렬의 정도를 나타내기 위해서는 Gaussian Mixture Model(GMM)을 사용하였는데요. GMM을 활용하면 카메라와 LiDAR에서 얻은 경계선 점들의 분포를 전체적으로 비교할 수 있습니다. 제가 제안한 방식은 GMM을 생성하는 과정에서 이미지 왜곡에 의한 에러를 줄이고 경계선 데이터의 불확실성을 반영합니다. 또한 최적화 과정에서 사용하는 Jacobian을 수치적(numerical)으로 추정하는 것이 아니라 수식적(analytical)으로 계산하여 최적화 과정을 더 정확하고 빠르게 수행할 수 있습니다. 덕분에 제안한 GMM 기반 캘리브레이션 알고리즘은 기존 캘리브레이션 알고리즘 대비 개선된 성능을 확보할 수 있었습니다.


3. 주로 로봇을 활용한 공간 모델링 문제를 연구하시고 계신 걸로 알고 있습니다. 현재 이러한 연구는 어느 수준까지 왔으며, 추가로 극복해야할 문제는 무엇인지 궁금합니다.

- 지금까지 공간 모델링 연구는 공간의 정보를 최대한 정확하게 복사하는 것에 집중해 왔습니다. 최대한 정확하게 복사한 이후에는 공간의 기하 정보를 고정하였습니다. 또한, 이미지와 기하 정보를 연동하는 카메라 모델도 몇 개의 변수로 표현하는 수식으로 고정하고 이미지와 기하 모델을 연동하였습니다.

이러한 고정모델 기반 접근방식을 사용하는 연구는 지금까지 많은 발전을 이루어 왔습니다. 그렇기 때문에 오히려 (2-sigma를 3-sigma까지 올리는 것이 어려운 것과 같은 맥락에서) 어느 정도 한계에 부딪혔다고 생각합니다. 반면 좀 더 유연하게 모델의 자유도를 높여 기하 모델과 이미지를 연동하는 기술을 사용하면 기존 접근방식의 한계를 돌파 할 수 있다고 생각하고 연구를 진행하고 있습니다.


4. 현재 소속된 KITECH Applied Robot R&D Department에 대한 소개를 부탁드립니다 .

- KITECH (한국생산기술연구원)의 로봇응용연구부문은 현재 32명의 연구자가 함께 일하고 있습니다. 학생분들과 포스트 닥터분들까지 모두 포함하면 인원은 2배 이상으로 늘어나는데요. 많은 분이 계신 만큼 저희 로봇응용연구부문은 로봇이 적용되는 대부분의 분야에 대한 연구를 수행하고 있습니다.

다양한 연구를 하시는 분들이 많이 계시다 보니 새로운 연구를 할 수 있는 기회가 많이 있는 편입니다. 저도 제가 가지고 있는 SLAM 기술을 스마트팜 환경 내의 작물지도 생성 기술로 활용하고 있습니다. 또 서로 가지고 있는 지식을 공유하는 세미나도 정기적으로 진행하고 있는데요. 저는 세미나를 통해 SLAM 관련 지식을 나누고 있고 강화학습에 대한 세미나를 들으며 관련 지식을 얻고 있습니다.


5. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다.

- 당연한 답변이겠지만 지도교수님이신 도락주 교수님(고려대학교 전기전자공학부, (주)티랩스 CEO/CTO)께서 연구에 대해서 아무것도 모르던 저를 연구자로 만들어 주셨습니다. 연구를 대하는 태도부터 삶의 지향점까지 글로 다 표현할 수 없을 만큼 많은 부분에서 제게 선한 영향력을 미치신 분입니다.



연구실 동료들의 영향도 빼놓을 수 없습니다. 같이 연구 이야기를 하며 정보도 얻고 아이디어를 주고받으며 연구의 부족한 부분을 채울 수 있었습니다. 많은 시간을 같이 보내며 비슷한 처지에서 각자 가지고 있는 고민을 나누는 것만으로도 학위 과정에서 큰 힘이 되었던 사람들입니다.



6. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

- 제 논문을 읽은 분들이 연구내용에 관심을 가지고 메일을 보내올 때 뿌듯함을 느낍니다. 저와 아무런 관련도 없는 사람이 논문만 보고 연락이 오는 것을 보며 제가 발표한 연구가 누군가에게는 도움이 될 수 있구나라는 생각이 들어 즐겁습니다. 그럴 때마다 저 역시 반대 입장에서 메일을 보내고 도움을 받았던 경험을 떠올리며 제가 받은 것을 조금이나마 돌려드리고자 성실하게 답변해 드리고 있습니다. 또 요즘은 연구의 과정을 지속 가능하게 이어가려고 노력하고 있습니다. 한 편의 논문은 단거리처럼 달려서 마무리 할 수 있으나 연구 활동을 이어나가기 위해서는 전체 과정을 장거리로 보는 시각이 필요함을 많이 느끼기 때문입니다.


7. 이 분야로 진학(사업) 하려는 후배들에게 조언을 해 주신다면?

- 각자의 상황이 다르다 보니 조언을 하는 건 조심스러워 대신 제 이야기를 짧게 나누려고 합니다. 대부분의 사람에게 연구의 과정은 어렵고 힘듭니다. 저도 마찬가지였습니다. 생각과 다르게 진행되는 연구에 애써왔던 시간이 쓸모없다고 느껴질 때도 있고 연구가 내 길이 아닌가 싶을 때도 있었습니다. 흔들릴 때마다 저를 잡아주었던 건 연구의 과정에서 느끼는 작은 즐거움이었습니다. 거창한 것이 아니라 '새로운 이론을 하나 더 알았다', '수식 하나를 더 이해했다', '알고리즘의 함수를 하나 구현했다'와 같이 소소한 것들에서 즐거움을 느꼈습니다. 소소한 즐거움을 쌓아가다 보니 어느새 연구에 대한 고민과 어려움을 잊고 어느 순간 제가 고민했던 문제를 넘어서 연구를 진행하고 있었습니다. 그러니 제게는 전체를 보다가 순간을 놓치지 않는 것이 중요했습니다.

앞서 말씀드린 것처럼 각자의 상황이 다르겠지만 제 사례가 누군가에게는 연구의 과정에 조금이나마 도움이 되기를 바랍니다.


8. 다른 하시고 싶은 이야기들.

- 제 연구와 생각을 나눌 수 있는 자리를 마련해 주신 MERRIC에 감사합니다. 연구를 하다 보면 일에 치여서 내가 왜 연구를 하고 있나 놓치게 될 때가 있는데 질문에 대한 답변을 생각하며 제 연구를 돌아보게 되는 시간을 가지게 되었습니다. 그리고 지금까지 저와 함께 해주셨던 많은 동료 연구자분들에게도 감사하다는 말을 전하고 싶습니다.

* 강재현 박사의 최근(대표)논문.

- J. Kang and N. Doh, “Automatic Targetless Camera–LIDAR Calibration by Aligning Edge with Gaussian Mixture Model," Journal of Field Robotics, vol. 37, no. 1, pp. 158-179, 2020.

- G. Lim, Y. Oh, D. Kim, C. Jun, J. Kang, and N. Doh, “Modeling of Architectural Components for Large-Scale Indoor Spaces From Point Cloud Measurements," IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 3830-3837, 2020.

- G. Koo, J. Kang, B. Jang, and Nakju Doh, “Analytic Plane Covariances Construction for Precise Planarity-based Extrinsic Calibration of Camera and LiDAR," IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 6042-6048.

- J. Kang and N. Doh, “Full-DOF Calibration of a Rotating 2-D LIDAR with a Simple Plane Measurement," vol. 32, no. 5, pp. 1245-1263, 2016.

- K. Lee, S. Ryu, S. Yeon, H. Cho, C. Jun, J. Kang, H. Choi, J. Hyeon, I. Baek, W. Jung, H. Kim, and N. Doh, “Accurate Continuous Sweeping Framework in Indoor Spaces with Backpack Sensor System for Applications to 3-D Mapping," vol. 1, no. 1, pp. 316-323, 2016.