(주)마이크로시스템 소프트웨어 개발자 채용
MERRIC인
조회수 1806 좋아요 2 댓글 0
족형 로봇의 자율 운용을 위한 기초 연구
이인호(Inho Lee)(부산대학교 전자공학과 조교수) / inholee8 at pusan.ac.kr
1. 본인의 연구에 대해서 대략적인 소개를 부탁드립니다.

안녕하세요. 반갑습니다. 저는 부산대학교 전자공학과에 재직 중인 이인호입니다. 저는 인간형 로봇, 사족보행 로봇과 같은 시스템의 자율운용을 위한 연구를 수행하고 있습니다. 보행(Locomotion-[3]), 조작(Manipulation-[4,2]), 전신동작(Whole body control-[5]), 환경인식(Environment awareness-[1]), 동작계획(Motion Planning[1,3])을 포함하고 있습니다.

2009년 석사과정을 시작한 이래로 저의 첫 연구는 사족보행 로봇의 외란복원제어(Push recovery)였습니다. 당시 Boston Dynamics사의 Big Dog의 놀라운 보행기술을 동경하며 정말 많은 실패와 교훈을 얻었습니다. 이후 박사과정 동안은 DARPA Robotics Challenge에 참여하기 위해 연구실 선배님들이 개발한 기존 Hubo2를 개선하여 DRC-HUBO, DRC-HUBO+를 개발하였습니다. 인간형 로봇 DRC-HUBO+의 작업공간을 확장하기 위해 전신동작을 위한 기술들을 연구하였습니다. 박사학위 수여 후 The Institute for Human and Machine Cognition(IHMC)에서 약 4년간 Boston Dynamics의 Atlas 로봇, NASA JSC의 Valkyrie 로봇, NASA JPL의 LLAMA로봇, 새로운 유압 로봇 Nadia 개발 프로젝트에 참여하였습니다. 현재는 부산대학교 전자공학과에서 다시 사족보행 로봇(canine)을 연구/개발하고 있고 이를 활용한 다양한 연구과제를 수행하고 있습니다.




Mov 1. 부산대학교가 개발한 사족 보행 로봇 canine의 경사 보행 실험




2. IHMC에서의 연구활동에 대해 자세한 이야기를 부탁드립니다.

IHMC는 제가 참가했던 DARPA Robotics Challenge에 참가했던 팀 중 하나입니다. 덕분에 연구분야가 비슷하고 바라는 로봇 연구개발의 지향점이 같았습니다. IHMC에 합류하여 가장 먼저 기여했던 부분은 보행제어의 지능화였습니다. TEAM IHMC는 뛰어난 동적 보행제어 기술을 가지고 있었으나 DARPA Robotics Challenge에서 임무 수행의 자동화 수준을 끌어올리지 못한데에 갈증이 있었습니다. 보행제어 기술은 기본적으로 발착지점의 조합에 따라 무게중심과 발의 궤적, 그리고 여유자유도 제어가 요구됩니다. 이때 발착지점의 조합을 목표 지점까지 최적으로 찾는 것이 Footstep Planning입니다. 목표 지점이 멀수록 수많은 해가 존재하여 높은 연산 부하가 예상됩니다. 저는 인간형 로봇의 경로를 형성하는 Path Planning과 해당 Path를 만족하는 하위 레벨의 Footstep Planning을 조합하여 Two-staged Footstep Planning을 제안하였습니다. IHMC의 리더인 Dr. Jerry Pratt은 해당 접근법의 효용성을 높게 평가하여 고도화를 위해 Robert Griffin, Stephen McCrory등 동료들의 지원을 받을 수 있도록 배려해 주었습니다. 해당 연구는 2019년 국제 인간형 로봇 학회인 International Conference on Humanoid Robots에서 Best Paper를 수상하였습니다[3].

Footstep Planning을 활용하기 위한 환경상태인식 개발을 하였습니다. Lidar 센서 혹은 Depth Camera를 통해 얻은 Point Cloud 데이터를, Footstep Planning에서 활용할 수 있는 가장 효율적으로 압축된 데이터 형태인 평면 영역(Planar Region)으로 인식하는 것이 목표입니다. 수십만개의 Point 데이터를 Octomap으로 효과적으로 압축하고, 일련의 Clustering 기법을 통해 평면을 이루고 있는 Node들만을 묶어 평면의 중심점 위치, 법선 벡터, 모서리를 인식합니다. 해당 연구는 2020년 IROS 학회에 발표하였고 현재도 IHMC의 인간형 로봇들(Atlas, Valkyrie, Nadia)이 보행하는데 활용되고 있습니다. 추가로 State Estimator, 전신동작생성, 손가락 제어, Nadia 인간형 로봇의 전기 모터 개발 등을 하였습니다.


3. 족형 로봇의 자율 운용을 위한 기초 연구로 무인 순찰시스템과 시각장애인을 위한 로봇 안내견 개발을 진행중이신걸로 알고 있습니다. 자세한 이야기를 부탁드립니다.

경찰청과 치안센터, 과학기술정보통신부로부터 지원받은 본 연구개발사업은 부산 해운대 해수욕장 근처를 자율적으로 순찰하는 사족보행 로봇 개발을 목표로 합니다. 순찰 경로에 포함된 경사로, 계단 등의 지형을 이동할 수 있어야 하며, GPS상 목표 지점까지 행인들과 시설물에 충돌되지 않도록 도달해야 합니다. 기존의 상용화된 외산 사족보행 로봇과 견줄 수 있는 새로운 사족보행 로봇 개발이 요구됨에 따라 저를 포함한 부산대학교 연구팀은 다음과 같은 사족보행 로봇 canine을 개발하였습니다. 현재 별도의 머신 비전 센서 없이 평지, 잔디, 경사로 등의 지형에서 보행이 가능하며 최대 2m/s의 속도를 가집니다. 장시간의 보행을 위해 에너지 효율에 입각한 보행제어기 개발, 경로 생성, 충돌회피, 환경인식 등 다양한 연구를 진행 중입니다. 사족보행 로봇을 활용한 또 다른 연구사업은 로봇 안내견 개발입니다. 로봇 안내견 개발 프로젝트는 사족보행 로봇 개발과 더불어 시각장애인과 안내견이 서로 상호작용하는 하네스 개발을 목표로 합니다. 본 연구개발과제는 한국정보통신연구원의 지원을 받아 수행하고 있으며 2023년 1월에 시작하여 아직 가시적인 성과는 없으나 곧 좋은 연구결과를 공개할 수 있도록 하겠습니다.


Mov 2. 부산대학교가 개발한 사족보행 로봇 canine의 야간 보행 실험




4. IHMC에서 박사후 연구원으로 체조선수로 이름을 딴 Nadia라는 휴머노이드 로봇을 개발하신걸로 알고 있습니다. 어떤 특징과 기능을 가지고 있으면 연구는 어디까지 진행이 되었나요?

Nadia 로봇 개발을 시작하기 전까지 IHMC팀은 사실상 소프트웨어 엔지니어 위주의 팀이었습니다. 리더인 Dr. Jerry Pratt의 의견에 따라, IHMC팀이 개발한 인간형 로봇 제어 프로그램은 극한의 Object Oriented Programming(OOP)이 적용되어 URDF를 포함한 몇 가지 로봇의 고유 특성에 대한 정보만 변경하면 모든 인간형 로봇 제어를 할 수 있습니다. 추가로 잘 적용된 전신 동작 제어와 보행 제어 기술 덕분에, 다른 연구기관들의 인간형 로봇 제어에 활용되었는데요, 그것이 NASA JSC의 Valkyrie로봇과 Walt Disney Imagineering의 Kiwi 로봇 입니다. 하지만 팀 내적으로는 하드웨어를 직접 개발하지 않은 탓에 팀 성장과 소프트웨어 위주의 로봇 개발의 한계를 느끼고 있었습니다. 보다 다양한 임무와 퍼포먼스를 내고 싶지만 독자적인 하드웨어 시스템을 보유하고 있지 않은 점을 매우 아쉬워 하고 있었습니다. 그리하여 시작된 프로젝트가 Nadia 로봇 개발 프로젝트입니다. 1차적인 목표는 Boston Dynamics의 1세대 Atlas로봇(DARPA Robotics Challenge에 활용된)의 성능을 만족하고 보다 넓은 Range of Motion(RoM)을 가지도록 하는 것이었습니다(https://spectrum.ieee.org/ihmc-developing-new-gymnastinspired-humanoid-robot, https://spectrum.ieee.org/ihmc-nadia-humanoid-robot). 현재는 시스템 개발이 완료되어 IHMC가 자랑하는 인간형 로봇 제어 프로그램인 Avatar 시스템이 적용 되었고, 기존 Atlas로봇과 마찬가지로 보행 퍼포먼스를 선보이고 있습니다(영상 참조). 추가로 저번 주에는 동료 Dr. Sylvain Bertrand로부터 Running실험에 성공하였다는 소식도 접하였습니다.


Mov 3. Nadia 로봇




5. 2015년 휴보랩에서 DRC HUBO로 다르파 로보틱스 탤린지에서 우승을 하신걸로 알고 있습니다. 자세한 이야기를 부탁드립니다.


DARPA Robotics Challenge를 경험했던 후배들, 동료들과 모이면 항상 이야기 꽃이 핍니다. 치열하게 준비했던 시간만큼 이것이 전우애일까라고 생각될 만한 애틋한 마음을 당시의 동료들에게 가지고 있습니다. Challenge 이후 미국에서 지낸 덕에 인간형 로봇을 바라보는 주요 연구 지원 기관들과 일반인들의 평가, 대회에 참여했던 참여하지 않았던 세계 각 팀들의 의견들까지 정말 많은 이야기도 많이 들어 다 담기에는 부족할 것 같습니다. DARPA Robotics Challenge를 준비과정과 제가 기여했던 부분들, 그리고 느꼈던 점들을 간략히 말씀드리겠습니다. DARPA Robotics Challenge는 두 번에 걸쳐 개최 되었습니다. 2013년 12월 Trials와 2015년 6월 Finals이고 저는 이 두 대회에 모두 참가하였습니다. Trials에서 제가 속했던 TEAM KAIST는 사실 실패에 가까운 결과를 얻었습니다. 목표를 저희에 실력에 비해 높게 잡았기 때문인지 내부적으로도 실망감이 컸다고 생각합니다. 하지만 그만큼 Finals에서는 저희가 얻었던 교훈을 잘 반영하여 정말로 많은 점들을 개선하고 발전시킬 수 있었고, 덩달아 구성원 모두의 성장으로 이어졌다고 느낍니다. 저는 카메라-라이다 융합 센서 시스템 개발과 지면인식, 자기충돌감지, 전신 역-기구학 및 전신 동작 생성에 기여하였고, 시스템 개발 면에서는 배선 작업과 임베디드 시스템 개선 등에 기여하였습니다.

한 가지 아쉬웠던 점은 저희가 준비한 것을 다 보여주지 못한 것 입니다. 잘 알려진 대로 저희 로봇 DRC-HUBO+는 무릎 아래 부분에 바퀴를 부착한 상태로 임무를 수행하였습니다. Trials이후 로봇시스템을 완전히 바꾸었으며 이로 인해 하드웨어의 동적 특성과 깊은 관련이 있는 보행 기술 개발에 충분한 시간이 필요하였습니다. 저를 비롯한 Autonomous Manipulation팀은 로봇 운용의 자율성 테스트를 하루라도 빨리 시작해야 했던 이유로 임시로 바퀴를 부착하여 임무와 임무 사이의 이동방법을 대체하였습니다. 여담이지만 TEAM MIT의 리더였던 Russ Tedrake가 저희 팀을 좋게 보아주었던 점은 저희가 대회 전에 100번에 달하는 Dry run을 했다는 것이었습니다. 이를 통해 바퀴를 사용한 임무 수행과 바퀴를 전혀 사용하지 않은 임무 수행 시나리오 두 가지에 대한 통계를 얻을 수 있었습니다. 조금은 당연하게도.. 바퀴를 사용한 임무 수행의 성공률이 높고 임무 수행 시간은 짧다는 결론입니다.

Day 1과 Day 2 이틀에 걸쳐 경연이 이루어 지고 최고 기록을 기준으로 성적을 매기기 때문에 Day 1에는 바퀴를 활용, Day 2에는 순수 보행만을 활용한 임무 수행 시나리오를 준비하였습니다. 보다 안정적인 방법으로 준비한 임무를 다 수행하자는 마음이었고 Day 2에서는 바퀴가 없이도 임무 수행을 할 수 있다는 것을 보여주기 위함 이었습니다. 100번의 Dry run으로 겪을 수 있는 시행착오는 다 겪어보았다고 여겼건만 자기충돌모델에 드릴 팁을 포함시키지 않아 Day 1에 드릴 팁이 부러지는 사고가 발생하였습니다. 이러한 이유로 Day 2에서도 바퀴를 부착한 상태로 경연에 임하게 되어 준비한 보행 시나리오를 보여주지 못한 점이 아쉬움으로 남습니다.

DARPA Robotics Challenge를 기점으로 저의 커리어에 큰 변화가 생겼습니다. 대회를 준비하면서 생긴 노하우들이 다른 팀에서도 당당히 구성원으로서 역할을 할 수 있는 힘이 될 수 있을지 궁금함과 기대감이 참 많아서 박사 후 과정을 희망하고 있었습니다. 그러던 와중에 경연장에서 석사과정동안 가장 감명 깊게 읽은 Capture Point 논문의 저자 Dr. Jerry Pratt이 이끄는 TEAM IHMC를 만났고, 대회 이후 박사 후 과정을 약속 받았습니다. 추가로, TEAM IHMC의 Garage 특유의 밝고 유쾌한 분위기에 이끌렸던 이유도 있었습니다.


6. 현재 운영중이신 부산대학교 CAMEL(Computer And Machine Engaged Lab.)에 대해서 소개를 부탁드립니다. (연구분야, 소속연구원, 희망하는 학생 모집, 비젼 등)

저희 연구실 Computer And Machine Engaged Lab.(CAMEL:https://sites.google.com/view/pnu-camel/home)은 박사과정 2명, 석박사통합과정 4명, 석사과정 6명, 학부연구생 6명, 위촉연구원 1명으로 구성되어 있습니다. 로봇이 융합과정인 만큼 다양한 전공의 학생들이 합류하여 기계/전자/컴퓨터/조선 공학과 학생들이 서로의 장점을 나누며 성장하고 있습니다.

현재 집중하고 있는 연구 프로젝트는 드론에 팔을 부착하여 임무를 수행하기 위한 자율 공중조작(Autonomous Aerial Manipulation) 연구와 사족보행 로봇을 이용한 순찰, 시각장애인을 보조하기 위한 안내견 개발이 있습니다. 드론에 부착할 경량 팔 제작과 제어, 팔을 포함한 모델 예측제어(Model Predictive Control)을 연구하고 있으며, 사족보행 로봇을 직접 설계하고 제작하여 순찰 업무와 안내견 역할을 할 수 있도록 보행, 환경인식, 인간-로봇 상호작용(Human Robot Interaction) 연구를 진행 중입니다.

연구과제 달성을 위해서 이기도 하지만 제가 추구하는 연구지도 방식으로 인해 저희 연구실에서는 로봇 기구 설계, 구동기/임베디드 설계 및 제어, 보행, 조작, 강화학습, 머신 비전, 동작 계획 등 full-stack 연구자가 되기 위해 필요한 실무교육을 겸하고 있습니다. 다양한 활동을 통해 목표로 하는 바는 “꽉 찬 육각형” 인재양성 입니다. 저는 언젠가 학생연구원들이 연구실을 졸업하여 회사나 연구소의 구성원이 되었을 때 다양한 일과 환경에 잘 적응하여 팀을 견인 할 수 있는 인재가 되기를 소망합니다. 이러한 이유로 19명 모두 다양한 skill set과 두 개 이상의 연구분야를 가지도록 유도하고 있으며 매 주 금요일 랩 세미나와 미팅을 통해 연구적인 부분과 다양한 skill의 노하우 공유를 꾸준히 하고 있습니다. 또, 국내외 학계 및 산업계에 있는 로봇 전문가를 매 달 초청하여 눈높이를 넓히려 노력하고 있습니다.



Mov 4. canine demo 영상




7. 많은 분들과 같이 연구를 진행해 오셨는데요. 그 동안 영향을 받은 연구자가 많으실 거 같습니다. 어떤 연구자 분들의 어떤 영향을 받으셨는지 궁금합니다.

가장 영향을 많이 받은 연구자는 당연하게도, 저의 지도교수님이신 오준호 교수님입니다. 교수님에게서 배운 가장 큰 장점은 넘치는 에너지와 집중력입니다. 경험과 지식을 바탕으로 문제의 본질부터 파악하고 해결하는 자세와 폭발적인 문제 해결 능력을 배웠습니다. 제가 어느 문제에 부딪힐 때마다 교수님의 철학을 되새기며 전진하고 있습니다. 또 다른 큰 영향을 받은 연구자는 Dr. Jerry Pratt입니다. MIT에서 Flamingo로봇을 혼자의 힘으로 개발하고 제어하였고, 시뮬레이션이자 로봇 제어 프로그램을 직접 개발한 놀라운 풀스택(full-stack) 로봇 연구자입니다. 하지만 그분의 이러한 탄탄하고 높은 수준의 실무 능력보다 더욱 본받고 싶은 점은 팀을 만들고 이끄는 리더십입니다. 이러한 이유로 저희 연구실 내의 문화와 시스템은 Jerry Pratt과 함께 하였던 시간을 깊이 참고하여 구축해 나가고 있습니다. 그 외에도, 한국사람 하나 없는 Pensacola에서 즐겁고 의미 있는 시간을 함께 해준 동료들(Robert Griffin, Sylvain Bertrand, Stephen McCrory 등)에게 감사하며 그들에게서 받은 따뜻함을 학생들에게 전해주려고 노력하고 있습니다.




8. 연구 활동 하시면서 평소 느끼신 점 또는 자부심, 보람

저는 로봇 연구자는 일종의 서비스직이라고 생각합니다. 로봇 시스템은 여러 요소기술이 집약되어 목표로 한 임무를 수행합니다. 만약 그 시스템이 보다 범용적인 목적을 가지고 있다면 정말로 많은 요소기술들이 어우러져 다양한 임무를 수행할 수 있도록 합니다. 자연스럽게도 이를 위해 여러 사람과의 협업이 필요합니다. 제가 기여한 파트는 동료가 작업하는 시스템으로부터 활용이 되기도 하고 일부분이 되기도 하며 심지어는 비교군으로서 참고가 되기도 합니다. 이는 로봇 시스템이 목표한 임무 수행을 위해 제가 맡은 부분은 동료들에게 서비스가 된다고 생각합니다. 제가 기여한 부분이 잘 활용되어 동료들에게 도움이 되고 궁극적으로 임무 수행에 성공하게 되면 그것이 그토록 기쁘고 보람찼습니다. 시스템을 완성하여 하나의 마침표를 찍었다고 생각이 들 때면 저 혼자가 아닌 함께한 모두와 다 함께 성장했다고 느껴지는 부분이 가장 행복했습니다. 실제로 DARPA Robotics Challenge Finals에서 8점을 얻었을 때 당시에 아직 뒷 순서의 팀 경연이 많이 남아 우리가 1등인지 10등인지 알 수 없는 상황이었지만 기뻐서 환호성이 나온 이유는 저와 동료들 모두가 몰두한 시스템이 목표를 다 이루었다는 점 하나 때문이었다고 생각합니다.


9. 이 분야로 진학(사업)하려는 후배들에게 조언해 주신다면?

개인적으로 저는 로봇연구자가 되기 위해서는 둘 이상의 자신 있는 분야가 있으면 좋겠다는 생각을 가지고 있습니다. 제 학생들에게도 늘 강조하고 요구하고 있는 점인데요, 로봇 시스템을 구성하는 각 단위 모듈을 보거나, 여러 방법론이나 기초 학문들을 보면 서로가 서로의 영감이 되고 이에 공통되는 철학이 있다고 느낍니다. 여러 분야에 대해 깨우침이 있다면 팀웍이 필요하고 강조되는 로봇 연구/개발 과정에서 동료와의 협업에 분명히 도움이 될 거라 기대합니다. 한 가지에 몰두하여 깊이 파고들어 다른 분야에 대한 이해를 높이는 방법도 매우 좋습니다. 중요한 점은 하드웨어부터 소프트웨어까지 여러 요소기술이 필요한 로봇을 더욱 이해하고 잘 다루기 위해서 내가 현재 맡은 일 외에도 많은 관심을 가지셨으면 좋겠습니다.


10. 다른 하시고 싶은 이야기들(메릭 또는 다른 연구자들, 후배들에게)

현재 재직중인 부산대학교에 와서 팀을 꾸리고 연구를 시작한지 어느 덧 여섯 개의 학기가 지났네요. 감사하게도 기계로봇연구정보센터의 인터뷰 질문에 답하며 그 동안의 시간을 돌아볼 수 있었고 앞으로 더 힘을 낼 수 있을 것 같습니다. 정진하여 좋은 연구결과로 다른 연구자들에게 좋은 자극을 주는 연구자가 되겠습니다.


* 이인호 교수의 최근(대표) 논문들

[1] Bertrand Sylvain, Inho Lee*, Bhavyansh Mishra, Duncan Calvert, Jerry Pratt, and Robert Griffin. "Detecting usable planar regions for legged robot locomotion." IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2020.

[2] Jorgensen*, Steven Jens, Michael W. Lanighan, Sylvain S. Bertrand, Andrew Watson, Joseph S. Altemus, R. Scott Askew, Lyndon Bridgwater Beau Domingue, Charlie Kendrick, Jason Lee, Mark Paterson, Jairo Sanchez, Patrick Beeson, Seth Gee, Stephen Hart, Ana Huaman Quispe, Robert Griffin, Inho Lee, Stephen McCrory, Luis Sentis, Jerry Pratt, Joshua S Mehling. "Deploying the nasa valkyrie humanoid for ied response: An initial approach and evaluation summary." IEEE-RAS 19th International Conference on Humanoid Robots (Humanoids), IEEE, 2019.

[3] Griffin*, Robert J., Georg Wiedebach, Stephen McCrory, Sylvain Bertrand, Inho Lee, and Jerry Pratt. "Footstep planning for autonomous walking over rough terrain." IEEE-RAS 19th International Conference on Humanoid Robots (Humanoids), IEEE, 2019. (Best Paper Award)

[4] Jeongsoo Lim, Inho Lee, Inwook Shim, Hyobin Jung, Hyun Min Joe, Hyoin Bae, Okkee Sim, Jaesung Oh, Taejin Jung, Seunghak Shin, Kyungdon Joo, Mingeuk Kim, Kangkyu Lee, Yunsu Bok, Dong?Geol Choi, Buyoun Cho, Sungwoo Kim, Jungwoo Heo, Inhyeok Kim, Jungho Lee, In So Kwon, Jun?Ho Oh*, Robot system of DRC?HUBO+ and control strategy of team KAIST in DARPA robotics challenge finals.?Journal of Field Robotics (2017)

[5] Inho Lee, and Jun-Ho Oh*. "Humanoid posture selection for reaching motion and a cooperative balancing controller."?Journal of Intelligent & Robotic Systems (2016)


  • Balancing Control
  • Whole body Motion Generation
  • Environment awareness
  • System development for legged robots.
인쇄 Facebook Twitter 스크랩

  전체댓글 0

[로그인]

댓글 입력란
프로필 이미지
0/500자