4157
3
0
김표진 (Pyojin Kim)(숙명여자대학교 기계시스템학부) / pjinkim at sookmyung.ac.kr
2021-08-02
|
1. 본인의 연구에 대해서 대략적인 소개를 부탁드립니다. - 저는 자율 비행 드론이나 서비스 로봇과 같은 실내외 로봇 플랫폼들이 사람과 같이 주변 환경을 3차원으로 이해하며, 공간 정보를 입체적으로 인지하고 인식할 수 있도록 하는 알고리즘들을 연구하고 개발하는 것에 흥미를 느끼고 관심을 가지며 공부하고 있습니다. 특히 카메라 센서로부터 얻어지는 영상 정보를 기반으로 하여, 3차원 공간상에서 자기 자신의 위치를 인식하고, 주변 환경을 정확하게 모델링하는 것에 많은 관심을 가지고 있습니다. 보통 이러한 영상 정보 기반 3차원 위치 측위 및 공간 정보 추정 알고리즘들을 로보틱스 분야에서는 Visual Odometry (VO), Visual Simultaneous Localization and Mapping (V-SLAM)이라는 용어로 부르며, 컴퓨터 비전 분야에서는 Structure from Motion (SfM), Multi-View Stereo (MVS)라고 부르는 것 같습니다. 실시간성이 특히 강조되는 VO, V-SLAM은 자율 비행 드론 및 자율주행차의 영상 기반 항법 알고리즘으로도 많이 사용되며, 또한 가상/증강 현실 분야에서도 IMU 센서와 결합된 Visual-Inertial Odometry (VIO)가 필수적으로 사용되며, 현재 구글의 ARCore, 애플의 ARKit과 같은 서비스에서 이미 상업적으로 사용되고 있습니다.  요즘 제가 흥미롭게 수행하는 연구는 크게 1) 실내외 도심지역에서 관측 가능한 구조적 패턴 인지 및 이를 활용한 VO/V-SLAM, 2) 딥러닝 기반 실시간 실내외 3차원 재구축 (3D Reconstruction), 이렇게 두 개의 큰 주제로 연구를 진행하고 있습니다. 전반적으로 로보틱스를 위한 3D Computer Vision 관련 요소 기술 및 알고리즘들에 관심이 많아 이것저것 다양한 주제들의 논문을 읽으며 연구실 학생들과 함께 연구중입니다. 2. 드론의 경우 GPS를 쓸 수 없는 실내의 경우 다른 방식의 위치를 파악할 수 있는 장치들이 있어야 하는데, 교수님이 연구 중이신 Visual Odometry(영상기반 항법장치)알고리즘을 제안하신 걸로 알고 있습니다. 이에 관해서 설명을 부탁드립니다. - 실외에서 동작하는 자율주행차나 비행 드론의 경우, 위성 항법 시스템 - GNSS (Global Navigation Satellite System) – 을 사용하여 어느 정도 수준의 정확한 자기 자신의 위치를 추정할 수 있지만, 실내의 경우 위성 신호가 부정확하므로 모바일 플랫폼의 위치 측위에 많은 어려움이 있습니다. 제가 드론 관련 항법 연구를 시작했던 2012~2013년도만 하더라도 대부분의 실내 쿼드로터 드론 실험은 Vicon, OptiTrack과 같은 외부 모션 캡쳐 카메라 장비에 전적으로 의존해서 비행 실험을 수행했었고, 해당 장비가 설치된 제한된 실험실 공간을 벗어나면 실내 드론의 자율 비행은 거의 불가능했었습니다. 따라서 이러한 한계를 극복하고자, 최근 10~15년간 로봇 및 컴퓨터 비전 커뮤니티에서는 드론에 탑재된 온보드 센서인 카메라 그리고 IMU만을 사용해서 자기 자신의 정확한 위치를 추정하는 visual-(inertial) odometry (VO, VIO), visual simultaneous localization and mapping (SLAM)와 같은 온보드 센서 기반 위치 측위 알고리즘 관련 수많은 연구가 활발히 진행되었습니다.  이러한 영상 기반 항법 알고리즘 관련하여 다양한 연구 분야와 주제가 있지만, 제가 학위과정 중 특히 애정을 갖고 연구를 진행했던 분야는 실내외에서 반복적으로 관찰되는 구조적 특징 패턴을 인지하고, 이를 영상 기반 항법 알고리즘에 적극적으로 활용하는 연구였습니다. 건물 실내 혹은 실외 도심지역에서 사람은 언제나 벽면, 큰 건물과 같은 거시적이며 구조적인 특징을 입체적으로 인지하며 이를 효과적으로 활용하여 자기 자신의 위치 혹은 방위를 추정하며 움직이는데, 왜 기존 대부분의 영상 기반 항법 알고리즘들은 특징점 혹은 빛 밝기와 같은 국소적인 영상 정보만을 사용해서 자기 자신의 위치를 추정할까? 라는 단순한 생각과 호기심으로 시작된 연구였지만, 관련 후속 연구를 진행하면서 생각보다 아직도 풀리지 않은 많은 문제들이 있어서 지금도 재미있게 관련 연구를 수행 중에 있습니다.  그 중 제가 생각하는 저의 가장 대표적인 구조적 특징 활용 연구는 2018년도 European Conference on Computer Vision (ECCV)에서 발표된 “Linear RGB-D SLAM for Planar Environments” 입니다. 이 논문의 핵심 내용은 실내 맨해튼 구조를 따르는 건물에서 일관적으로 관측되는 직교성 (Orthogonality)을 효과적으로 활용하여 시간이 지남에도 누적 오차가 발생하지 않는 3자유도 회전 운동 추정 기법을 사용한 것입니다. 이를 기반으로 회전 운동으로 인하여 비선형성이 강한 기존의 비선형 SLAM 문제를 선형 SLAM 문제로 새롭게 재정의한 뒤, Kalman Filter Framework 내에서 자기 자신의 3차원 위치와 평면 구조 지도의 위치를 동시에 추정하는 연구입니다. 더 자세한 연구 내용 및 정리된 연구 결과는 아래의 유튜브 동영상 그리고 2018년도 ECCV에 출판된 제 논문을 살펴보시면 좋을 것 같습니다. 3. NASA와 협업하여 국제우주정거장(ISS)에서 Astrobee 운영을 위한 매핑환경을 실험을 하셨는데요. 이에 대한 연구 소개를 부탁드립니다. - 국제우주정거장(ISS)에서는 우주정거장 자체의 유지 및 보수를 위해, 우주비행사가 매일 매일 수행해야만 하는 다양한 임무가 존재합니다. 이러한 단순하면서도 반복적인 잡무를 우주비행사 대신 수행하기 위해 개발된 로봇이 Astrobee이며, NASA Ames Research Center 내의 Intelligent Robotics Group (IRG)가 해당 프로젝트를 주도적으로 수행하고 있습니다. Astrobee가 국제우주정거장에서 안정적으로 동작하기 위해서는 다양한 기능들이 반드시 필요한데, 저는 그 중에서도 국제우주정거장 내부에서 Astrobee의 3차원 위치를 정확하게 측위할 수 있게 하는 알고리즘을 연구/개발하는 업무를 인턴 기간 동안 연구했었습니다.  제가 수행했던 연구에 대해 조금 더 구체적으로 설명드리면, Astrobee가 국제우주정거장 내에서 자유롭게 이동하기 위해서는 반드시 사전에 생성된 내부 지도 (Map)가 필요하게 됩니다. 일반적으로 내부 지도 생성 과정은 우주비행사의 도움으로 이루어지는데 조명이 켜진 매우 밝은 상태에서 지도 제작 과정, 즉 맵핑 (Mapping)이 이루어집니다. 이후 이렇게 미리 생성된 지도를 활용하여 ISS 내부에서 자기 자신의 3차원 위치를 추정하는 visual localization을 수행하게 됩니다. 여기서 문제는 3차원 자가 위치 측위가 필요한 순간은 결국 우주 비행사가 활동하지 않는 밤인 어두운 조명 조건인데, 이는 맵핑 당시의 밝은 조명 조건과 매우 다르기 때문에, 결국 자가 위치 추정 오차가 발생하게 됩니다. 저는 이러한 다양한 빛 밝기 조건에 따른 맵핑 및 자가 위치 측위 성능 변화에 대해 분석 및 조사하였고, 이러한 위치 추정 오차를 줄이기 위한 연구를 수행하였었습니다. 더 자세한 연구 내용 및 정리된 연구 결과는 아래의 유튜브 동영상 그리고 2017년도 IEEE International Conference on Robotics and Automation (ICRA)에 출판된 제 논문을 살펴보시면 좋을 것 같습니다.  지금 돌이켜보면, NASA Ames 연구 인턴쉽을 통해 저는 Astrobee의 위치 측위 강건성 연구와 같은 해당 분야 전문 지식을 얻었을 뿐만 아니라, NASA Ames 그리고 주위의 실리콘 밸리에서 일하는 뛰어나고 우수한 엔지니어들과 친해지며 함께 연구에 관한 이야기를 하며 제 연구 네트워크를 세계적으로 확장할 수 있었던 좋은 기회였던 것 같습니다. NASA 연구 인턴쉽 종료 후 한국으로 귀국하고 나서도, Dr. Brian Coltin과 지속적으로 공동 연구를 수행하였었으며, 논문도 꾸준히 함께 출판하였었습니다. 또한 이 때의 NASA Ames 인턴쉽을 통해 알게 된 연구자 및 제가 수행했던 VO/SLAM 연구가 계기가 되어서, 2년 뒤인 2018년도에 Google ARCore Motion Tracking 팀에서 Visual-Inertial Odometry (VIO) 연구 인턴쉽을 수행할 수 있었고, 미국 실리콘 밸리 지역으로 다시 인턴쉽을 올 수 있게 되었습니다.  4. 영상기반 항법장치는 자율운행을 위한 여러 가지 방법이 사용되고 있는 거로 알고 있습니다. 앞으로의 어떤 연구들이 진행되고 있는지, 꼭 해결해야 하는 문제가 있다면 어떤 것들이 있을까요? - 영상 기반 3차원 위치 측위 알고리즘은 드론과 같은 무인 플랫폼의 자율주행 및 비행을 위해 필요할 뿐만 아니라, 가상/증강현실과 같은 몰입형 컴퓨팅 (Immersive Computing) 분야에서도 매우 중요한 역할을 합니다. 이러한 중요성으로 인해 지난 10~15년간 컴퓨터 비전 및 로보틱스 커뮤니티 그리고 Google, Microsoft, Apple과 같은 세계적인 대기업에서 영상 기반 위치 측위 알고리즘 관련 연구를 매우 활발하게 수행해왔었고, 그 결과 사실 현재 어느 정도는 정확하게 잘 동작하는 다양한 오픈소스 관련 알고리즘 (ORB-SLAM, Direct Sparse Odometry 등)들이 공개되어 있으며, 상용 off-the-shelf 제품들 (Intel의 RealSense T265, ZED2, Apple의 ARKit, Google의 ARCore 등) 또한 다양하게 출시된 상태입니다. 하지만 매우 개인적인 생각으로는 아직까지도 대부분의 VO, VIO, SLAM 알고리즘들은 어느 정도 잘 통제된 실내 환경에서만 안정적으로 동작하며, 급격한 빛 변화나 동적인 환경, 그리고 급작스러운 제자리 회전 움직임과 같은 도전적인 상황에서는 위치 측위 정확도가 급격히 떨어집니다. 이러한 영상 기반 위치 측위 알고리즘의 강건성과 같은 연구 분야에서 새로운 연구 주제와 기회가 있다고 생각합니다. 또한 아직까지도 대부분의 영상 기반 위치 측위 알고리즘들은 모두 국소적인 정보인 특징점 및 영상 내 빛 밝기에 기반한 방법들이 대다수입니다. 따라서 직선 및 평면과 같은 고수준의 기하학적 정보 및 직선과 평면이 이루는 구조적인 특징 관계를 함께 활용하여, 이를 효과적으로 VO, V-SLAM에 적용함으로써 기존의 위치 측위 및 맵핑 기법들보다 높은 강건성과 정확도를 가지는 연구들이 더 필요하다고 생각됩니다. 또한 최근 딥러닝의 열풍으로 인하여 VO/SLAM와 같은 기존의 3차원 위치 측위 및 맵핑 문제도 딥러닝 네트워크 구조를 사용하여 해결하려는 방법들 및 논문들이 관련 로보틱스, 컴퓨터 비전 학회에서 최근 활발히 발표되고 연구되고 있습니다. 사실 아직까지는 기존의 기하학, 비선형 최적화 기반의 방식들이 딥러닝 기반 기법들보다 더 정확하며, 확장성 및 일반화 능력 (generalization)도 뛰어나고 우수한 것 같지만, 최근 1~2년 사이에 딥러닝 기반 VO, 맵핑 방식들의 성능이 연구 초기보다 대폭 향상된 것을 확인할 수 있었습니다. 따라서 개인적으로는 이러한 딥러닝과 VO/SLAM를 효과적으로 결합하여 정확성/강건성을 향상시키는 연구 또한 매우 흥미로운 연구 방향 및 주제라고 생각합니다. 5. 현재 교수님이 운영하시는 MPIL(Machine Perception and Intelligence Lab.)에 대해서 소개를 부탁드립니다. - 현재 저는 숙명여자대학교 기계시스템학부에서 기계 인지 및 지능 연구실 (Machine Perception and Intelligence Lab.)을 운영하고 있으며, 로보틱스를 위한 3D Computer Vision 및 Deep Learning 분야에 초점을 맞추어 관련 연구를 학생들과 함께 진행하고 있습니다. 연구실을 운영하고 관리하는 여러 가지 현실적인 제약 및 여건상, 전체를 통합하는 연구나 로봇 관련 거대 프로젝트를 진행하기 보다는, VO/SLAM과 같이 로보틱스 연구/개발에 있어서 없어서는 안될, 반드시 필요한 각종 핵심 요소 기술들 및 알고리즘들에 조금 더 초점을 맞추어 연구를 진행하려고 노력하고 있습니다. 현재 학부생 인턴 및 석사 학생들을 포함하여 총 8명 정도가 있으며, 규모가 크지는 않지만 내실 있고 강한 연구실이 되기 위해 저와 학생들 모두 함께 즐겁게 연구하며 노력하고 있습니다.  6. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다. - 당연하겠지만 제 박사과정 지도교수님인 서울대학교 김현진 교수님으로부터 가장 많은 영향을 받았습니다. 항상 실용적이고 현실적인 관점에서 연구를 바라보며 진행하는 안목을 가질 수 있도록 많은 조언을 해주셨으며, 논문을 위한 연구를 하기보다는 실제 로보틱스 분야에 적용 가능하며 도움이 되는 연구를 하라고 가이드를 해주신 게 특히 기억에 남습니다. 어떤 연구 주제 혹은 개인적으로 재미있고 관심 있어 보이는 연구 내용을 가지고 가서 말씀드리더라도 꼼꼼하게 재미있게 살펴봐 주시고, 일정 기간 동안 연구 기회를 주신 것에 매우 감사했습니다. 또한, 저희 연구실 학생 개개인을 모두 전적으로 믿으며, 자유롭게 본인이 연구하고 싶은 주제에 대해 연구할 수 있는 연구실 환경을 조성하고 분위기를 만들어 주신 것에 매우 감사하며, 저도 이러한 지도교수님의 좋은 점을 본받아서 제 연구실을 운영하려고 노력하고 있습니다.  또한 비록 1년이라는 짧은 기간이었지만, 캐나다 Simon Fraser University에서 포닥과정 지도교수님이셨던 Yasutaka Furukawa 교수님으로부터 연구에 대한 철학, 임하는 태도 및 방향 설정에 대해 많은 영향을 받았습니다. 3D Computer Vision, Multi-View Stereo 관련 연구로 전 세계적으로 매우 저명하신 Prof. Yasu 교수님은 항상 우리가 속해있는 사회에 직접적으로 도움이 되고, 큰 영향을 줄 수 있는 의미 있는 연구를 하라는 조언 (make an impact!)을 끊임없이 저에게 말씀하시고 강조하신 게 아직도 기억에 남습니다. 또한 비록 논문 실적이나 실험 결과가 좋게 나오지 않더라도, 기존에 존재하는 기법이나 방법에 얽매이지 않고, 새로운 아이디어 및 기법으로 아무도 시도하지 않은 새로운 연구를 하려는 시도를 허용하며, 오히려 권장하는 연구 문화 및 철학이 저에게는 개인적으로 신선하고 존경스러웠습니다. Prof. Yasu 교수님의 연구 철학, 지적 열정, 그리고 따뜻한 배려 등 여러 좋은 모습을 본받고 싶습니다. 7. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람 - 제가 수행한 연구 내용 및 논문 내용들에 대해 다른 연구자들이 관심을 가지고 연락이 오거나 메일을 받을 때 뿌듯함과 기쁨을 느낍니다. 또한 저는 대부분의 연구 아이디어 및 소스 코드를 GitHub (https://github.com/pyojinkim) 상에 업로드 해놓는데, 다른 연구자나 개발자들이 제 저장소를 따로 복사하거나, 즐겨찾기 추가를 했다는 알람이 왔을 때, 제가 수행하고 있는 연구가 이 지구상에서 누군가에게는 그래도 도움을 줄 수 있구나라는 생각이 들어 즐겁고 뿌듯합니다. 8. 이 분야로 진학(사업)하려는 후배들에게 조언을 해 주신다면? - 각자가 처한 상황 및 능력이 다르고, 특히 요즘엔 저보다도 뛰어나고 너무 잘하는 친구들이 사실 많아서 조언하는 건 조심스러워 대신 제가 연구를 하며 느꼈던 솔직한 감정들 그리고 생각들을 가볍게 나누려 합니다. 대부분의 사람들에겐 연구의 과정이 어렵고 고통스럽고 힘들며, 당연히 저 또한 마찬가지였습니다. 특정 함수의 사소한 버그로 인해 일주일이 넘는 시간을 허비할 때도 있었고, 특정 라이브러리 및 의존성 문제로 인해 리눅스 개발 환경 구축에만 며칠이 걸릴 때도 있었습니다. 또한 제가 예상하는 실험 결과와는 다르게 진행되는 결과물들을 보면서 이 연구를 위해 애써왔던 지난 시간이 이젠 그냥 쓸모없이 버린 시간이 돼버렸구나 하고 느낄 때도 참 많았고, 주위에 최상급 학회에 내기만 하면 붙는 동료 연구자들을 보면서 열등감, 자괴감을 느끼며 연구/개발은 정말 내 길이 아닌가보다 싶을때도 정말 많았습니다. 이렇게 흔들릴 때마다 저를 붙잡아주었던 건, 연구 및 공부의 과정에서 느끼는 작은 성취감이었습니다. 거창한 것이 아니더라도 특정 알고리즘을 완벽히 이해했다거나, 특정 함수를 멋지게 내 나름대로 구현해보았다던가 하는 소소한 것들에 대해 성취감 및 즐거움을 느꼈었습니다. 돌이켜보면 결국 이러한 소소한 즐거움 및 다양한 시행착오들이 하나씩 차곡차곡 누적되어, 지금의 저를 만든 것 같습니다. 앞서 말씀드린 것처럼 각자가 처한 상황이나 능력이 다르겠지만, 결국 성실히, 꾸준히, 그리고 열심히 연구하는 연구자는 언젠가는 반드시 좋은 연구를 할 수 있다고 전 믿습니다. 위의 제 사례가 누군가의 연구 인생에 있어서 조금이나마 도움이 되기를 희망합니다. 9. 앞으로 진행할 연구 방향이나 목표가 있으시다면? - 요즘 연구 트렌드나 연구 경향이 1~2년 사이에 급격하게 변하고, 주된 패러다임 방법론도 시시각각 빠른 속도로 변하기 때문에 장기적인 안목을 가지고 연구를 수행하기 사실 쉽지 않은 환경인 것 같습니다. 이렇게 새롭게 제안되어 발표되는 연구 트렌드나 방법론을 빠르게 익히되, 기존의 전통적이고 안정적인 접근 방법과의 융합을 통해 실질적으로 로보틱스 분야에 도움이 되는 요소 기술들에 대해 끊임없이 연구하고 개발하고 싶습니다. 10. 다른 하시고 싶은 이야기들. - 제 연구와 개인적인 이야기들에 대해 나눌 수 있는 자리를 만들어 주신 MERRIC 관계자분들에게 감사합니다. 또한 이 글을 읽는 분들에게, 소중한 시간을 할애해서 제 인터뷰 내용을 끝까지 읽어주셔서 감사합니다. 얼른 코로나 상황이 종료되어서, 국내외 로보틱스 및 컴퓨터 비전 학회에서 다양한 연구자분들을 직접 뵙고 깊은 연구 이야기를 나눌 수 있기를 희망합니다. 감사합니다. * 김표진 교수의 최근(대표)논문 1. Haoang Li, Kai Chen, Ji Zhao, Jiangliu Wang, Pyojin Kim*, Zhe Liu, Yun-Hui Liu*, “Learning to Identify Correct 2D-2D Line Correspondences on Sphere”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2021. 2. Sachini Herath*, Saghar Irandoust, Bowen Chen, Yiming Qian, Pyojin Kim, Yasutaka Furukawa, “Fusion-DHL: WiFi, IMU, and Floorplan Fusion for Dense History of Locations in Indoor Environments”, IEEE International Conference on Robotics and Automation (ICRA) 2021. 3. Haoang Li, Pyojin Kim*, Ji Zhao, Kyungdon Joo, Zhipeng Cai, Zhe Liu, Yun-Hui Liu, “Globally Optimal and Efficient Vanishing Point Estimation in Atlanta World”, European Conference on Computer Vision (ECCV) 2020. 4. Pyojin Kim, Brian Coltin, H. Jin Kim*, “Linear RGB-D SLAM for Planar Environments”, European Conference on Computer Vision (ECCV) 2018. 5. Pyojin Kim, Brian Coltin, H. Jin Kim*, “Low-Drift Visual Odometry in Structured Environments by Decoupling Rotational and Translational Motion”, IEEE International Conference on Robotics and Automation (ICRA) 2018. |
- 로보틱스
- 3D Computer Vision
- 영상 기반 관성 항법
- Visual Odometry (VO)
- Visual Simultaneous Localization and Mapping (SLAM)
전체댓글 0
모바일