1215
1
0
현재상(Hyun, Jae-Sang)(연세대학교 기계공학부 조교수) / hyun.jaesang at yonsei.ac.kr
2023-11-22
|
1. 본인의 연구에 대해서 대략적인 소개를 부탁드립니다. - 저는 광학을 기반으로 한 3차원 표면 측정에 관한 연구를 하고 있습니다. 간단히 말하자면, 사물을 카메라로 찍어서 3차원 정보를 갖는 모델로 복원하는 연구하고 있습니다. 최근 Apple사에서 출시한 iPhone이나 iPad는 3차원 카메라를 활용해 얼굴인식을 하고 LiDAR를 활용해서 증강현실을 구현합니다. 또한, 실내 서비스 로봇을 활용하여 음식점에서 서빙을 하거나 현재 위치를 파악하여 낯선 사람에게 길 안내를 하기도 하는데, 모두 3차원 스캐닝 시스템을 활용하는 대표적인 예입니다. 3차원 스캐닝 시스템의 작동원리에는 여러가지가 있는데, 저는 주로 구조광 (Structured Light)을 활용한 3차원 복원 방식에 대한 연구를 주로 하고 있습니다.  2. 3차원 카메라 설계 연구에서 주로 어떤 기술이나 특징을 중점적으로 연구하고 있나요? 구조광 방식을 활용한 3D 카메라의 경우 밝은 무늬와 어두운 무늬가 번갈아 가며 반복되는 커튼과 같은 모양의 sinusoidal pattern (=fringe pattern)을 사용하여 3차원 표면에 대한 정보를 얻습니다. 디지털 프로젝터를 활용하여 이 패턴을 측정하고자 하는 피사체에 투사하면, 피사체의 기하학적 특성(깊이 변화, 굴곡, 요철 등)에 따라 패턴들이 왜곡됩니다. 이 왜곡된 정도를 디지털 카메라로 촬영하여, 위상 정보로 변환하면 피사체의 표면을 3차원으로 복원할 수 있게 됩니다. 따라서, 밝은 무늬와 어두운 무늬 사이의 간격, 한 장의 3차원 이미지를 형성하는데 필요한 패턴의 수, 카메라와 디지털 프로젝터의 구성 혹은 프로젝터 메커니즘이 주 연구 대상입니다.  3. 3D 카메라나 3D 스캐너로 획득한 데이터에서 패턴을 찾는 알고리즘은 어떻게 작동하는지 자세히 설명해 주실 수 있을까요? 또한 패턴 알고리즘을 통해 얻은 결과를 바탕으로 3D 모델을 복원하는데 어떻게 이용되는지 설명해 주세요? - 앞에 이야기에 덧붙여 조금 더 자세히 설명해보도록 하겠습니다. 그렇다면 1장의 패턴 만으로 피사체에 대한 정확한 3차원 표면 측정이 가능할까요? 가능하지만 정밀한 측정은 어렵습니다. 그 이유는 디지털 카메라로 촬영한 이미지의 어두운 부분이 패턴의 어두운 부분에 해당하는 지, 피사체의 두께 차이에 따라 발생한 음영인지 알 수 없기 때문입니다. 이러한 불확실성을 줄이고 정밀한 3차원 표면 측정을 하기 위해 줄무늬를 옆으로 조금씩 이동한 패턴을 피사체에 투사하게 되는데. 이를 phase-shifting 알고리즘이라 부릅니다. 여러 장의 패턴을 사용하여 얻게 된 이미지들은 간단한 삼각함수를 활용하여 빛의 밝기에 따른0~255 범위의 8bit 데이터 형태가 아닌 깊이 정보를 포함한 부동소수점 형태의 위상 정보로 바뀌게 됩니다. 위상 정보는 빛의 밝기 정보보다 외부 간섭에 강건하고 자세한 깊이 정보를 갖고 있어 3차원 좌표계로 변환할 때 유리합니다. 이 위상정보를 미리 계산해 두었던 프로젝터와 카메라의 내부 변수(intrinsic parameter)를 활용한다면 하나의 위상 정보마다 하나의 x, y, z 값을 가진 공간상의 점으로 나타날 수 있게 됩니다.  4. 3차원 복원 알고리즘 개발 연구에서 어떤 도전과제들이 있었고, 이를 해결하기 위한 특별한 접근 방식이나 알고리즘의 특징이 있을까요? - 측정 정확도와 측정 속도는 서로 상반관계에 있습니다. 더 많은 이미지를 활용해 3차원 모델을 복원하면 더 높은 정확도를 얻을 수 있지만, 빠르게 움직이는 피사체를 촬영하기에는 무리가 있습니다. 반대로 속도에 초점을 맞춰 3차원 모델을 복원할 경우 정확도가 떨어져서 지문이나 족적 측정과 같은 정밀 측정이 어렵게 됩니다. 따라서 측정 정확도의 손실 없이 빠른 속도로 피사체를 측정할 수 있도록 시스템을 설계하는 것이 중요합니다.  이 문제를 해결하기 위해 패턴을 변형시키는 것과 해석하는 알고리즘을 개선하는 소프트웨어로 접근하는 해결방법이 있고, 프로젝터의 작동원리를 변형시켜 초고속 촬영을 가능하게 하는 하드웨어로 접근하는 해결방법이 있습니다. 패턴 알고리즘을 개선하는 것에도 여러 방법이 있지만 최근 딥러닝을 활용하여 필요한 패턴의 수를 획기적으로 줄일 수 있게 되었습니다.  다른 방법으로는 기존 디지털 프로젝터를 활용하여 피사체에 패턴을 맺히게 하는 메커니즘을 변경하여 속도를 극대화하는 기계적 프로젝터를 활용하는 방법도 있습니다. Optical Chopper와 렌즈를 활용하여 거리를 조절하면 원하는 커튼 모양의 패턴을 완성하게 되는데, 이를 활용하여 최대 초당 1만장의 3차원 이미지를 획득 할 수 있는 장치를 개발하기도 하였습니다.  이 외에도 다른 도전과제들은 많습니다. 3차원 표면 측정은 응용 분야에 따라서 스캐닝 시스템의 크기 촬영 영역, 속도, 해상도가 결정되기 때문에 적용하는 곳에 맞춰 시스템을 적합하게 설정하는 것이 가장 중요합니다. 한 가지 예를 들면, 프로젝터의 투사 영역과 카메라의 촬영영역이 모두 직사각형이기에 이 영역 안에 들어오는 피사체의 3차원 표면 측정하는 것이 일반적입니다. 하지만 파이프와 같이 원형으로 생긴 모습의 내부는 촬영하기 어렵습니다. 따라서 이러한 원통모양의 내부를 표면 검사하기 위해서 원뿔형 거울을 활용하여 3차원 스캐닝 시스템을 구현하기도 합니다.  5. 미래에는 어떤 응용 분야에서 이러한 연구 결과가 활용될 것으로 기대하고 있나요? 예를 들어, 산업, 의료, 혹은 가상 현실과 같은 분야에서의 활용 가능성에 대한 생각이 있을까요? - 가상 현실과 증강 현실을 포함한 혼합 현실에서 활용가능성이 굉장히 크다고 할 수 있습니다. 아직까지 메타버스로 대표되는 대부분의 플랫폼에서는 회의를 하거나 게임을 진행할 때 사용자의 모습을 하나의 캐릭터로 변환하여 서로 소통하도록 설계되어 있습니다. 이는 서로에게 자신이 아닌 다른 화자(avatar)를 내세워 이야기를 한다고 느끼게 합니다. 고해상도 정밀 3차원 스캐너를 활용하여 사용자의 형상을 촬영하여 가상 세계에 복원할 수 있다면, 사용자들은 이질감 없이 서로 소통할 수 있게 될 것 입니다. 현실감을 느낄 수 있는 고해상도 3차원 모델링만 실시간으로 복원 가능하다면Meta사의 Oculus나 Microsoft사의 Hololens와 같은 Head-mounted Display를 활용하여 혼합 현실에서 이질감 없이 상대방과 소통을 즐길 수 있을 것이라 기대하고 있습니다. 의료 분야에도 3차원 스캐닝은 잠재력이 굉장히 큰 분야입니다. COVID-19 유행으로 원격 진료가 활성화 되었지만 외과적 진료와 같이 상처의 깊이를 알아야 하는 상황이나 정신과 상담과 같이 편안한 상황에서 정신적인 교감을 이뤄야 하는 환경을 갖춰야 하는 상황에서는 영상 통화만으로 환자를 진단하기에는 한계가 있습니다. 또한 외과 로봇을 활용하여 종양을 제거하는 수술을 할 경우 내시경에 장착된 디지털 카메라를 통해서는 종양의 부피를 가늠하기 어렵습니다. 따라서 모든 2차원 디지털 카메라를 기반으로 한 데이터를 3차원 스캐닝으로 정확하게 모델링 할 수 있다면 외과 진료 뿐 아니라 정신과 진료까지 획기적으로 활용할 수 있을 것이라 생각합니다. 이미 치과에서는 3차원 스캐닝 시스템을 활용하여 치아 본을 뜨고 있습니다. 이전에는 치아의 본을 뜨기 위해 알지네이트라는 재료를 활용해 직접적으로 치아에 적용하였지만, 이물감이 심하고 크라운이나 임플란트를 적용하기 위해 본을 직접 치기공소에 보내야만 했습니다. 하지만 3차원 스캐닝 시스템을 활용하여 촬영된 3차원 치아 모델을 인터넷을 통해 치기공소로 보내거나 자체 가공 툴로 가공한다면 빠른 시일내에 적은 비용으로 진료 및 치료를 할 수 있게 됩니다. 6. 현재 운영 중인 연세대학교 DAMIS Lab.에 대해 소개해 주십시오 (연구분야, 소속연구원, 희망하는 학생 모집, 비젼 등, 단체사진 포함 ) - DAMIS Lab은 high-Dimensional Accurate Measurement and Intelligent Sensing Laboratory를 뜻하는 말로 대상을 3차원 혹은 더 높은 차원으로 정확하게 측정하고 지능적으로 센싱하는 연구를 진행하고 있습니다. ‘정확하게 측정’ 한다는 것은 간단히 말해서 측정 도구의 성능을 향상시켜서 측정하고자 하는 대상의 크기를 정확히 잴 수 있도록 한다는 것이고, ‘지능적으로 센싱’ 한다는 것은 측정한 사물이 책인지 연필인지 혹은 하중을 많이 받고 있는지 인지하고 해석하는 기능을 스스로 감지한다는 뜻합니다. 저희 연구실은 로봇, AR/VR, 실내 자율주행, 머신 비전, 메디컬 이미지 등3차원 측정에 관한 전반적인 연구를 모두 다루고 있습니다. 산업체와 협업기회가 많아 현재는 치아 구강 스캐너 개발, AR/VR 헤드셋을 위한 눈동자 추적 시스템 개발 등 해외 유수 기업과 프로젝트를 진행하고 있습니다. 대학원 학위 과정 중에 해외 기업으로 인턴이나 교환 학생 등 프로그램을 적극 장려하여 학생들에게 연구실에서 진행하는 연구가 어떻게 사용될 수 있는지 직접 경험할 수 있게 장려합니다. 학생들이 연구실에서 지식만 단순히 습득하는 것이 아니라 사회에서 필요한 인재로 거듭 날 수 있도록 최대한 노력하고 있습니다.  7. 많은 분들과 같이 연구를 진행해 오셨는데, 그 동안 영향을 받은 연구자가 많으실 것 같습니다. 어떤 연구자 분들의 어떤 영향을 받으셨는지 궁금합니다. - Song Zhang (Purdue University) 교수님은 ‘구조광을 이용한 3차원 정밀 측정’에 대한 선구자로서 깊이 있는 연구를 진행하셨으며 제 지도 교수로서 많은 가르침을 전해 주셨습니다. 또한, 저에게 학문의 넓은 시야를 갖게 하기 위해 다른 연구실 혹은 산업체와 협업을 할 수 있는 많은 기회를 주셨습니다. Beiwen Li (Iowa State University) 교수님은 과거에 연구실 동료이자 선배로서 제가 장비를 사용하는 방법이나 논문을 작성하는 법에 대해 서툴러 헤매고 있을 때, 언제든지 도움을 주었으며 연구자로서 통찰이 있고 아이디어가 좋아서 저에게 많은 영향을 주었습니다.  8. 연구 활동하면서 평소 느끼신 점, 자부심, 보람에 대해 이야기해 주십시오. - 3차원 스캐닝은 앞서 말씀드린 것과 같이 각종 장비 혹은 로봇의 측정을 위해서, 가상현실 및 증강현실의 이질감 없는 구현을 위해서 매우 중요한 연구 분야입니다. 3D 프린터에 적용할 경우 형상이 얼마나 잘 출력되고 있는지 실시간으로 확인할 수도 있고, 혼합현실에서도 가상 세계에 현실의 모습을 그대로 옮겨 놓을 수도 있습니다. 미래 기술로 꼽히는 대부분의 분야에도 직/간접적으로 도움이 될 수 있어 큰 보람과 자부심을 느낍니다. 9. 이 분야로 진학(사업)하려는 후배들에게 조언해 주신다면? - 영상을 촬영하여 고차원 모델로 복원시킨다는 점이 굉장히 의미 있는 일이라 생각합니다. 측정 단계에서 차원을 줄이기는 쉬워도 다시 원래 형상으로 복원하는 것에는 많은 제약 조건이 따르게 되기 때문입니다. 휴대전화에 있는 카메라 성능이 급속도로 향상 되면서, 추억을 간직하는 방식이 달라지고 영상 통화와 같이 새로운 수단이 생기면서 서로가 의사소통 하는 방식 또한 많이 달라지게 되었습니다. 이와 같이 3차원 스캐닝 시스템에 대한 연구가 많이 진행되고 널리 보급되게 된다면 또 다른 세상이 열리지 않을까 싶습니다. 해야 할 것도 많고 산업적으로 수요도 많고 재밌는 연구 분야라 굉장히 매력적이라 생각합니다. *. 현재상 교수님의 최근 혹은 대표 논문들 - J. -S. Hyun and S. Zhang, "Superfast 3D absolute shape measurement using five binary patterns," Opt. Laser Eng. 90, 217-224, (2017) - J. -S. Hyun, and S. Zhang, "Enhanced two-frequency phase-shifting method," Appl. Opt. 55(16), 4395-4401, (2016) - J. -S. Hyun, George T-C Chiu, and S. Zhang, "High-speed and high-accuracy 3D surface measurement using a mechanical projector," Opt. Express 26 (2), 1474-1487, (2018) - J. -S. Hyunn, and S. Zhang, “Influence of projector pixel shape on ultrahigh-resolution 3D shape measurement,” Opt. Express 28(7), 9510-9520, (2020) - J. -S. Hyun, and S. Zhang, “High-speed three-dimensional absolute shape measurement with three binary patterns,” Opt. Eng. 59(2), 024104, (2020) |
- 3D Optical Imaging
- Pattern Algorithm Development
- High-Resolution 3D Imaging
- Structured Light
전체댓글 0
모바일