1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다.

- 저는 공간 상에서 로봇이 3차원 음원의 위치를 추정하는 방법을 연구하고 있습니다. 좀 더 자세히 말씀드리면, 음원에서 발생한 소리를 로봇에 장착된 마이크들을 이용해 측정하고 이를 활용해 3차원 음원의 위치를 추정하는 기술을 연구하고 있습니다.

로봇이 실생활에서 활용될 때, 주변 환경의 인지는 정말 필수적입니다. 특히 음향 데이터를 활용하여 사람 또는 주변 환경과의 상호작용하는 것에 대한 수요는 점점 더 증가하고 있습니다 (e.g., 스마트 스피커). 사람 또는 주변 환경과 상호작용에서 음원 위치 추적은 중요한 문제 중 하나이며, 정확한 음원의 위치를 추정할 수 있다면 로봇이 더욱 다양한 기능을 수행할 수 있게 될 것입니다.

제 연구는 “어떻게 하면 소리가 발생한 정확한 위치를 알 수 있을까?”라는 의문에서 시작했습니다. 기존의 기법들은 음원의 정확한 3차원 위치가 아닌 소리가 들려온 방향 만을 추정할 수 있었으며, 3차원 위치를 추정하는 방법들은 많은 제약 조건이 있었습니다.

정확한 3차원 음원 위치 추적을 가능하게 하기 위해, 소리가 음원에서 발생 후 전파되는 과정을 탐구하는 것부터 출발했습니다. 소리가 음원에서 발생 후 로봇으로 전파되는 다양하고 복잡한 과정을 이해하고, 역으로 (로봇에서 음원으로) 해석하고 모델링 하여 3차원 음원 위치 추적 연구를 진행하였습니다.




2. 음향 광선(Acoustic rays) 및 역-전파 신호(Back-Propagation Signals)를 활용한 Sound Source Localization에 대해서 자세한 설명을 부탁드립니다.

- 음향 광선(Acoustic rays)은 음원에서 로봇으로 소리가 전파된 경로를 추정한 것이며, 역-전파 신호(Back-propagation signals)는 추정된 전파 경로를 통해 전달된 소리 신호를 로봇 입장에서 역으로 추정한 신호입니다.

자세히 설명하면, 음원에서 발생한 소리는 공기 중으로 전파되며, 장애물과 충돌하였을 때는 다양한 현상이 나타납니다. 즉, 음원에서 발생한 소리가 로봇(마이크)까지 전파될 때, 장애물과의 상호작용으로 인해 다양한 전파 경로가 생성이 됩니다. 그 예로 장애물과 충돌 후에는 반사 또는 회절 전파 경로가 생성이 되며, 어떠한 상호작용도 없다면 직접 전파 경로를 통해 소리가 로봇으로 전달됩니다. 이러한 음원에서 로봇으로의 다양한 전파 경로를 광선 추적법(Ray tracing)을 활용하여 역으로 추정하고자 하였고, 그 결과로 음향 광선 (Acoustic rays)이 생성됩니다.

더 나아가 같은 음원에서 발생한 동일한 소리 신호라도, 서로 다른 전파 경로를 통해 전파된다면 서로 다른 특성을 갖게 됩니다. 예를 들어 여러 물체들이 존재하는 환경에서는 음원에서 로봇으로 다양한 전파 경로를 통해 소리가 전달되며, 각기 다른 전파 경로를 통해 전파된 신호들은 서로 다른 특성을 갖게 됩니다. 이러한 상황에서 위에서 설명한 광선 추적법을 통해 음향 광선을 생성하여 전파 경로를 추정한 후, 추정된 전파 경로로 전달된 소리를 역으로 추적하여 음원에서 발생한 원 신호를 복원한 것을 역-전파 신호(Back-propagation signals)라고 합니다. 저의 연구에 좀 더 관심이 있으신 분은 제 홈페이지 방문해 주세요. (http://sgvr.kaist.ac.kr/~ikan/)



3. 로봇이 인간의 음성을 제대로 인식하기 위해서는 장애물이나 주변의 소음들을 제거하고 제대로 인식시키는 기술이 필요할거 같은데, 이에 필요한 어떤 연구들이 있을까요?

- 말씀하신 상황들의 경우 로봇이 정확한 음원의 위치를 추정하기에 매우 어려운 상황들입니다. 먼저 음원이 장애물에 가려 로봇에 보이지 않는 상황일 때, 음원에서 로봇으로 직접 전파되는 경로가 막히게 되고 여러 복잡한 전파 경로를 야기하게 됩니다. 이러한 상황에서 복잡한 전파 경로들은 추정하기 어렵고, 음원의 위치 역시 추정하기 매우 어려워집니다. 저는 이러한 상황에서 음원의 위치를 추정하기 위한 연구를 진행해왔고, 회절을 통해 전파된 경로를 역 추적하여 음원 위치 추적 정확도를 향상시켰습니다. 위 상황에서, 장애물의 가장자리에서 회절이 발생하고 이를 통해 소리가 로봇으로 전달됩니다. 저는 회절을 통해 전파되는 과정을 uniform theory of diffraction (UTD) 모델을 활용하여 모델링 한 후 역으로 추적하여, 음원의 로봇에게 보이지 않는 상황 (non-line-of-sight)에서도 음원의 위치를 추정하는 방법을 고안했습니다.

하지만, 실험을 진행했을 때, 장애물에 의해 음원이 가려진 상황이 그렇지 않은 상황에 비해 성능이 떨어지는 것을 확인할 수 있었습니다. 더 나아가 주변에 다양한 소음이 존재할 경우 정확도는 더욱 떨어지게 됩니다. 이러한 상황에서 정확한 음원 위치 추적을 가능하게 하기 위해서는, 소리와 주변 환경의 의미 정보 (semantic information)를 활용해야 한다고 생각합니다. 앞서 말씀드린 역전파 신호 (Back-propagation signals)도 의미 정보를 활용하는 예시 중 하나이며, 앞으로는 시각 정보도 같이 활용하는 기법이 필요할 것으로 예상합니다.

<동영상-https://www.youtube.com/watch?v=L4qsEgJRaqQ&;t=74s>


4. Sound Source Localization을 연구에서 중장기적으로 목표로 하고 계신 연구자 있으시다며, 또한 일반 소리공학연구와 어떤 차이가 있을까요?

- 저는 로봇에서 활용이 가능한 음원 위치 추적 기법에 대해 연구를 진행해 왔습니다. 어떠한 알고리즘이 로봇에서 사용되기 위해서는 “실시간성”을 만족시켜야 한다고 생각합니다. 즉, 해당 알고리즘이 로봇에서 실시간으로 동작할 만큼 빠른 연산을 보장해야 하며, 모든 입력 정보를 가지고 있지 않고 차례로 받아들이는 상황(=온라인 알고리즘)에서도 동작할 수 있어야 합니다. 저는 기존의 일반 소리공학에서 연구되어온 음원 위치 추적 기법들을 기반으로 하고, 이를 활용 및 발전시켜 로봇에서 활용이 가능한 기법을 연구해왔습니다.

궁극적으로는 실제 상황에서 로봇에 탑재되어 동작할 수 있는 안정적이고 정확하게 음원 위치를 추적할 수 있는 기법을 목표로 하고 있습니다.


5. 현재 소속된 SGVR Lab에 대해서 소개를 부탁드립니다.

- 저는 현재 카이스트 전산 학부 박사과정으로 재학 중이며, 윤성의 교수님께서 지도 교수로 계시는 SGVR Lab에서 연구를 진행하고 있습니다. SGVR Lab에서는 크게 3가지 분야 (로봇, 비전, 그래픽스)를 연구하고 있습니다. 그에 따라 3개의 팀이 존재하며, 저는 로봇 팀에 소속되어 있습니다.

각 팀에 대해서 간략히 말씀드리면, 로봇 팀은 소리에 관련된 연구뿐만 아니라 주변 환경을 인식하는 매핑 (mapping) 및 로봇의 움직임을 설계하는 모션 플래닝 (motion planning)에 대해서 연구를 진행하고 있습니다. 비전 팀은 대용량 데이터 베이스에서 원하는 이미지를 찾아내는 이미지 검색 (image retrieval) 및 물리 정보를 기반으로 이미지를 복원하는 기술 (image restoration)을, 그래픽스 팀에서는 가상 물체를 실제 조명과 일관되게 렌더링 하기 위한 빛 추정 기술 (light estimation) 및 실시간 고성능 그래픽 기술 (high-performance rendering) 등을 연구하고 있습니다. 말씀드린 주제들 이외에도 다양한 연구들을 진행하고 있으며, 각 학생이 자유롭게 자신의 연구분야를 선택하는 분위기를 갖고 있습니다. 이렇게 연구실에서 다양한 분야를 연구하며 다양한 장점을 가질 수 있는데, 그중 대표적인 것으로 “기술의 융합”입니다. 위 세 분야의 연관성을 찾기 어렵다고 쉽게 생각할 수 있지만, 실제로는 많은 부분에서 핵심 아이디어를 공유하고 있습니다. 그렇기 때문에 각 분야의 기술들을 융합하여 새롭고 창의적인 연구를 진행할 수 있었습니다. 대표적으로 제 연구 또한 그래픽스에서 많이 사용된 “광선 추적법 (ray tracing)”을 로보틱스와 융합하여 기존에 없는 새로운 음원 위치 추적 기법을 고안해 낼 수 있었습니다. 저희 연구실에 관심 있는 분께서는 연구실 홈페이지를 참고 부탁드립니다. (http://sgvr.kaist.ac.kr/)


6. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다.

- 지도 교수인 윤성의 교수님께 많은 영향을 받았습니다. 처음 석사 과정으로 연구실에 들어왔을 때 연구에 대해서 아무것도 몰랐던 저를, 연구자 중 한 사람으로 성장해 나갈 수 있도록 많은 도움 및 지도를 해주고 계십니다. 저희 교수님께서는 학생이 능동적으로 생각하고, 주체적으로 연구를 진행해 나갈 수 있도록 지도해주십니다. 항상 학생을 믿고 기다려 주시지만, 때때로 학생이 잘못된 연구 방향을 설정했다면 올바른 방향으로 진행할 수 있도록 도와주십니다. 그렇기 때문에, 연구실 학생들이 로봇, 비전, 그래픽스의 다양한 분야에서 효과적으로 연구를 진행할 수 있는 것 같습니다. 교수님은 연구 관련뿐만 아니라, 연구자로서 나아가야 할 방향에 대해서도 많은 지도를 해주십니다. 6개월에 한 번씩 세미나를 통해 연구실이 나아가야 하는 방향, 연구자의 자세 및 도덕성 등의 주제로 발표를 해주시는데, 이를 계기로 다시 동기부여도 받고 앞으로 나아가야 할 방향을 잘 설정할 수 있었습니다.


7. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

- 연구를 하시는 모든 분들이 그렇겠지만, 힘든 과정의 연속이라고 생각합니다. 하나의 연구를 끝 맞추기 위해서는 끊임없이 고민하고, 검증하는 과정을 거쳐야 하며, 때로는 그 과정에서 많은 스트레스를 받기도 합니다. 하지만, 하나의 내 연구가 마무리되고 논문을 통해 사람들에게 소개될 때 큰 보람과 자부심을 느낄 수 있었습니다. 궁극적으로는 내 연구가 완성이 되어 많은 사람에 도움이 될 수 있다면, 그 무엇보다 큰 보람을 느낄 수 있을 것 같습니다.
8. 로봇 분야로 진학(사업) 하려는 후배들에게 조언을 해 주신다면?

- 로봇은 하나의 좋은 연구가 아니라, 다양한 연구들이 준비되고 융합하는 과정을 거처야 완성될 수 있다고 생각합니다. 로봇의 동작에 필요한 “시각”, “청각”, “움직임”, “판단” 등 다양한 부분을 한 번에 다룰 수 있는 만능 기술은 가까운 미래에는 불가능할 것이며, 각 부분을 따로 처리할 수 있는 기술들이 필요하다고 생각합니다. 먼저 자신이 어떤 부분에 대해 연구하고 싶은지, 또 잘할 수 있는지 고민해보시면 좋을 것 같습니다. 또한 연구하려는 부분을 선택한 후 어떠한 방향으로 연구를 진행해야 로봇 전체에 도움이 될지 고민한 후 연구를 진행하신다면, 그 연구 성과 또한 충분히 가치가 있을 것이라 확신합니다.


9. 앞으로 진행할 연구 방향이나 목표가 있으시다면?

- 로봇의 음원 위치 추적에 대해서 연구를 진행 해왔지만, 아직 우리 실생활에서 동작하기에는 많은 보완이 필요합니다. 그렇기 때문에, 남은 박사과정 동안 음원 위치 추적 연구를 더욱 발전시켜 실제 우리 주위에서 사람들에게 도움을 줄 수 있는 수준의 기술로 만들고 싶습니다. 이를 위해 다음 연구로는 지금까지 사용한 소리 정보뿐만 아니라, 카메라 및 Lidar 등을 통해 수집한 시각 정보도 함께 활용해 더욱 정확한 음원 위치 추적 기법을 연구하고 싶습니다.

10. 안인규의 최근(대표) 논문
- I.An, M.Son, D.Manocha, and S.E.Yoon., "Reflection-aware sound source localization." 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018.

- I.An, D.Lee, J.Choi, D.Manocha, and S.E.Yoon., "Diffraction-aware sound localization for a non-line-of-sight source." 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019.

- I.An, B.Jo, Y.Kwon, J.Choi, and S.E.Yoon., " Robust Sound Source Localization Considering Similarity of Back-Propagation Signals." 2020 International Conference on Robotics and Automation (ICRA). IEEE, 2020.