기계·로봇 연구정보센터

3909

로봇의 물체 다루기 기술 연구

문형필 교수(성균관대학교 기계공학부) / hyungpil at skku.edu 2022-06-22

자율주행, 인공지능(AI), 사물인터넷(IoT) 등 미래기술과 융합되면서 다양한 로봇 산업에서 응용할 수 있는 길이 열렸습니다.
이번 서면 인터뷰에서 만나 보실 문형필 교수(성균관대학교 기계공학부)는 비전 기반 파지조작 및 주행기술을 기반으로 실생활과 산업현장에서 필요한 다양한 로봇의 활용 기술에 대해 연구를 하고 계십니다.

인공지능 기술을 활용한 개별화물 인식 기술, 인식 기반 물체 파지 기술, 클라우드 환경에서 로봇의 파지 지능 증강 기술, 사람 크기의 로봇팔 작동이 가능한 신개념 소프트 공압 액추에이터용 공압파워팩 기술, 생활 환경에서 사회성을 반영한 서비스 로봇의 물체 다루기 기술, 자율비행드론 등 다양한 연구를 하고 계십니다. 연구에 대한 자세한 이야기해보도록 하겠습니다.

1. 현재 교수님께서 하고 계시는 주요 연구에 대한 간단한 소개 부탁드립니다.

제가 운영하는 RISE Lab은 로봇 및 지능시스템에 대한 연구를 하고 있습니다. 로봇은 스스로 환경을 인식하고 판단하여 의미 있는 동작을 할 수 있는 시스템이고 지능시스템은 로봇으로 분류되기 어려운 형태이지만 로봇이 수행하는 환경 인식, 판단, 작업을 수행할 수 있는 시스템이라고 정의하고 이와 관련된 연구를 수행합니다.

비전 센서를 이용한 인식, 안전 협동 로봇기술, 각종 동역학 시스템 모델링 및 제어, 로봇의 판단 지능 등 굉장히 스펙트럼이 넓은 연구를 수행하고 있습니다. 최근에는 인식기반 이동/파지/조작/지능 연구개발에 집중하고 있습니다.

2. 흡착기와 같은 소프트 공압 그리퍼는 주로 제조현장에서 오랫동안 사용되고 있는 것인데 최근에 수행하신 흡착기에 대한 연구에 대해 궁금합니다.

제조나 물류 산업 현장에서 상자와 같은 물건을 옮길 때에는 사람손과 같은 그리퍼보다는 흡착기를 훨씬 더 많이 사용합니다. 물류 자동화나 생산 시스템 전시회에 가보면 흡착기가 사용되는 장비나 로봇이 99개 있다면 그리퍼는 1개가 있을까 말까 합니다.
그리퍼는 작고 단단한 부품을 특정한 위치에 잘 정리한 이후에 사용하는 경우가 많습니다. 물류 현장에서는 팔레트에 상자 쌓기, 상자 내리기 등 거의 모든 상자 다루기 시스템에 흡착기를 이용합니다. 그런데 비전을 이용하여 크기가 큰 상자, 혹은 식기, 형상이 복잡한 다양한 부품을 인식하고 적당한 형태의 흡착기를 이용하여 파지하는 기술을 개발해 보니, 그리퍼와는 다르게 흡착기의 파지 성능을 예측하고 계산하는 연구가 별로 없다는 것을 알게 되었습니다.

그리퍼를 이용하여 물체를 파지하는 경우, 로봇 개발자들은 파지 역학을 모델링하고 정량적으로 계산할 수 있습니다. 힘닫힘(force closure) 같은 것이 예입니다. 하지만 흡착기의 경우 공압으로 생성되는 압력으로 인해 쉽게 물체가 잡혀서 그런지 힘닫힘과 비슷한 개념이 잘 정립되어 있지 않았습니다. 그래서 인식해서 생기는 오차나 불확실성이 있는 경우, 혹은 표면이 평평하지 않고 다양한 곡률이 있는 경우에는 흡착기를 이용하여 파지 할 경우 예상과 달리 실패하는 경우가 많습니다.

그래서 우리는 흡착기의 파지 성공 가능성을 파지 대상의 형상을 고려하여 모델링하고 예측할 수 있는 기술을 만들었습니다. 흡착기는 내부의 압력이 낮게 유지되도록 물체 표면에 붙어서 씰(seal)을 유지할 수 있어야 하는데 이를 예측할 수 있는 인공지능 모델을 개발하여 흡착기의 파지 성공 확률을 예측하는 기술을 개발하였습니다.

Hudoklin, Jure, Sungwon Seo, Minseok Kang, Haejoon Seong, Anh Tuan Luong, and Hyungpil Moon. "Vacuum Suction Cup Modeling for Evaluation of Sealing and Real-timeSimulation." IEEE Robotics and Automation Letters (2022).

3. 흡착기는 물류현장에서 많이 사용된다고 하셨는데, 물류현장에서 필요한 로봇 기술을 어떤 것이 있을까요?

물류는 제조기업이 제품을 생산하고 출하하는 제조물류와 택배와 같은 일반 물류가 성격이 다릅니다. 제조 물류에서는 보통 동일한 상자를 취급하지만 택배는 셀 수 없을 정도의 다양한 상자를 다뤄야 합니다. 제조 현장에서 다루는 물체는 보통 물체의 형상 정보가 이미 주어져 있는 경우가 대부분이지만, 택배나 온라인 주문으로 다루는 물체는 형상 정보를 미리 가지고 있기가 어렵습니다. 따라서 센서를 이용하여 물체의 형상 정보를 실시간으로 인식하여 물건을 잡을 수 있는 기술이 일반 물류 현장에서 더 중요합니다.
이 기술이 어렵기 때문에 현재 대부분의 택배 물건 다루기는 사람이 하고 있습니다. 트럭에 물건을 싣는 일, 트럭에서 물건을 내리는 일, 컨베이어 밸트에 물건을 올리고 내리는 일, 팔레트에 물건을 쌓거나 내리는 일, 이러한 작업이 대부분 사람의 손으로 이루어집니다.

최근에는 물건을 보관하는 로봇, 물건을 이용하는 모바일 로봇, 팔레트에 상자를 쌓는 로봇이 현장에 적용되기 시작하고 있습니다. 하지만 여전히 트럭에 물건을 쌓는 일은 100% 인력으로 하고 있습니다. 우리 실험실에서는 CJ대한통운, STC 엔지니어링과 함께 공동으로 트럭에서 상자를 내리는 작업을 로봇으로 하기 위한 기술을 개발하고 있습니다. 우리 실험실은 트럭에 쌓여있는 상자, 마대, 아이스박스, 파우치 등과 같은 물체의 개별 크기와 위치를 인식하여 로봇이 작업할 수 있도록 하는 연구를 수행중입니다.

4. 그리고 흡착기를 벗어나 좀 더 다양한 형태의 소프트 로봇을 연구하고 계십니다. 소프트 로봇을 구동시키는 공압 파워백에 대한 연구도 궁금합니다.

소프트 로봇은 다양한 형태가 있지만 공압으로 구동하는 경우가 많이 있습니다. 우리 학과의 최혁렬 교수님, 구자춘 교수님, 그리고 휴고 로드리그 교수님과 함께 기초연구실사업에 참여하여 신개념 소프트 공압 액추에이터 연구실과제를 수행하고 있습니다. 이 과제에서는 실생활에 활용될 수 있는 소프트 로봇 기술을 개발하고 있습니다.

우리가 꿈꾸는 것은 영화 빅 히어로에 등장하는 베이맥스과처럼 껴안을 수 있을 정도로 소프트하면서 사람이 다루는 물건을 들 수 있는 수준의 팔을 가진 로봇을 개발하는 것입니다. 이를 위해서 다양한 구동 메카니즘, 회전형 공압 구동기, 양압과 음압을 동시에 사용하여 큰 힘을 낼 수 있는 소프트구동기를 연구하고 있으며, 우리 실험실에서는 이러한 구동기를 작동시킬 수 있는 공압 파워팩을 연구하고 있습니다. 양압과 음압의 변화에 동시 대응이 가능해야 하기 때문에 제어의 어려움이 있습니다. 우리 실험실에서는 최근에 외란관측기를 사용하여 제어 성능을 높이는 연구 성과를 발표하기도 했습니다.

Park, Chanyong, Myeongyun Doh, Yoonwoo Ha, Altair Coutinho, Anh Tuan Luong, Iksu Choi, Hyouk Ryeol Choi, Ja Choon Koo, Hugo Rodrigue, and Hyungpil Moon. "Simultaneous Positive and Negative Pressure Control Using Disturbance Observer Compensating Coupled Disturbance Dynamics." IEEE Robotics and Automation Letters 7, no. 2 (2022): 5763-5770.

5.자율 운전, 자율 비행을 위해서는 다수 로봇의 지능을 고도화하는 클라우드 로봇 지능 증강 기술이 필요할 것 같습니다. 현재 클라우드 로봇 지능 기술은 어디까지 발전되어 있는지 궁금합니다.

클라우드 로봇 지능 기술은 통신 기술이 발전하면서 더욱 주목 받고 있습니다. 개별 로봇이 모두 뛰어난 지능을 갖게 되면 좋겠지만, 그렇게 하기에는 경제적인 부담이 있습니다. 인공지능 알고리즘에 활용되는 고성능 컴퓨터를 모든 개별 로봇이 가지고 있어야 한다면 그 로봇의 가격은 고급 승용차보다 더 비싸게 될 것입니다.

통신 속도가 충분하다면 복잡한 인공지능 알고리즘은 클라우드에서 작동하고 로봇에서는 간단한 알고리즘을 작동하는 형태가 될 수 있습니다. 이러한 꿈을 실현하기 위해 한국에서도 오래전부터 네트워크 기반 로봇 기술을 KIST 주도로 개발한 바 있습니다. 제가 참여한 연구는 아니지만, 2005년에 KIST가 휴머노이드 로봇 마루와 아라를 개발할 때에도 이러한 개념을 염두해 두고 연구를 했습니다. 17년전에는 지금처럼 인공지능 특히 기계학습 기술이 발전하지도 않았고, 컴퓨터 성능도 좋지 않았고, 5G도 없었지만, 클라우드 로봇 지능과 비슷한 개념을 생각했었습니다.

2022년 현재에는 클라우드 로봇 지능이라는 이름으로 좀 더 구체화되어 기술이 구현되고 있습니다. 인공지능 기술을 포장하고 배포할 수 있는 기반 기술이 마련되었기 때문에 발전 속도는 더욱 더 빨라지고 있습니다. 우리 실험실은 LG 전자와, 혹은 전자부품연구원과 함께 파지작업지능을 클라우드와 연결시켜 파지 조작 지능 공유하고 증강할 수 있는 연구를 수행하고 있습니다.

처음 보는 물체를 사람처럼 100% 파지 성공하는 것은 굉장히 어려운 일입니다. 센서 정보와 파지 성공 여부를 직접 연결하는 딥뉴럴네트워크 모델을 개발하고 있습니다. 또 물체의 기본 형상을 알고 있을 때 처음 보는 물체는 한번에 보고 파지 할 수 있는 기술을 개발하고 있습니다.

6. 로봇이 지능을 가지는 기술은 어렵다고 생각이 되는데요. 어떠신가요?

지능은 정의하기 쉽지 않습니다. 지능은 많은 사실을 정확하게 암기하여 질의를 했을 때 암기한 답을 이야기 할 수 있는 것이 될 수도 있고, 경험해 보지 않은 일을 미리 예측하고 판단하여 실패를 줄이는 일이 될 수 있습니다. 풀어 보지 않은 수학 문제를 푸는 것도 지능이고, 시킨일을 수행하기 위해서 계획을 잘 세우는 것도 지능입니다.

[출처: https://en.wikipedia.org/wiki/Cortical_homunculus]

처음 보는 물체를 잡는 것도 지능이고 도구를 사용해서 작업하는 것도 지능입니다. 기계학습 기술이 발전함에 따라 로봇이 잘 할 수 있는 ‘지능’은 ‘단순 암기’에서부터 ‘예측’, ‘판단’과 같은 추상적인 지능, 그리고 주행 혹은 파지와 같은 동작에 연결된 지능까지 확산되고 있습니다. 인간의 뇌에 감각과 운동을 담당하는 기관을 연결한 모형인 호문쿨루스(Homunculus)를 보면 손, 입이 눈이나 귀에 비해 훨씬 더 큰 것을 알 수 있습니다. 이것에 비추어 볼 때 비전 인식 지능보다는 파지 조작 지능이 훨씬 더 구현하기 어려운 기술이 될 것 같습니다.

7. 위성항법장치(GPS)에 의존한 자율비행 드론은 상용화되기 어렵다고 하셨는데요. 어떤 요소로 어려운지 궁금합니다.

A380과 같은 대형 항공기는 이륙이나 착륙시를 제외하고 대부분의 항로를 자율비행할 수 있습니다. GPS, 자이로와 같은 위치 인식과 관련된 센서를 이용하여 비행하는 항공기의 정확한 위치와 자세를 알 수 있기 때문에 가능한 일입니다. 이에 반해 도심형 항공 모빌리티(UAM)은 어떤 형태가 될지는 모르지만, 기존의 여객항공기와 달리 도심의 건물과 가깝게 비행할 것이기 때문에 GPS가 없는 경우에도 안전하게 비행할 수 있어야 합니다.

배달용 자율비행드론이라면 건물로 인해 GPS 수신이 어려워질 수 있게 때문에 더욱 GPS 없이 비행할 수 있는 기술이 중요해집니다. GPS를 사용하지 않고, 로봇에 장착된 카메라, 라이다, IMU같은 센서만을 이용하여 비행하는 환경에서 움직이거나 고정된 물체의 정확한 위치와 자세를 인식할 수 있어야 안전하게 자율 비행을 할 수 있습니다.

8. GPS 없이 드론의 위치나 동작을 알아내는 기술을 모노큘러비전슬램(monocular vision SLAM)이 대표적이며 가장 활발히 연구되는 분야라고 하는데요. 자세한 내용 설명 부탁드립니다.

모노큘러비전스램은 카메라 하나만을 이용하여 위치 인식과 지도 생성을 하는 기술입니다. 사람은 두 개의 눈으로 물체는 보고 거리와 방향을 알아낼 수 있습니다. 로봇도 카메라가 두 개가 있다면 삼각법을 이용하여 보고 있는 물체의 거리와 방향을 이용하여 위치를 알아낼 수 있습니다.

카메라가 하나만 있다면 거리를 바로 알아낼 수는 없고, 방향만을 알 수 있습니다. 하지만 이동 후 한번 더 관찰을 한다면 이동 거리를 이용하여 삼각법을 적용할 수 있습니다. 모노큘러비전은 이렇게 카메라의 이동과 카메라에서 관찰되는 방향을 이용하여 주변 환경에 대한 맵을 만들면서 그 맵안에 카메라의 위치와 방향을 표현하는 기술입니다.

9. 자율 비행 드론이 가지는 필수적 요소에 대해서 궁금합니다.

자율 비행 드론은 장착된 센서와 컴퓨터를 이용하여 주변 환경을 인식하고 비행 경로를 생성하여 충돌 없이 안전하게 비행하는 기술이 필요합니다. 드론은 자동차와 달리 자체 하중을 이기고 공중에 떠 있어야 합니다. 따라서 무거운 센서나 컴퓨터를 사용할 수 없습니다.
즉 단순한 센서와 컴퓨터를 사용하여 자율주행자동차가 하는 인식과 판단을 할 수 있어야 합니다. 자동차는 바퀴를 움직이지 않으면 멈추어 안전합니다. 하지만 드론은 프로펠러를 멈출 수 가 없습니다.

자동차가 앞뒤로 이동하며 평행주차를 하듯, 드론도 앞으로 전진하기 위해서는 자세를 앞으로 숙이고 속도를 높여 비행해야 합니다. 이러한 비행제어기는 자동차에 비해 복잡합니다. 물론 상용 제어기가 많이 있어서 기술 개발하는 데에는 문제가 없습니다.

10. 자율비행 드론 기술을 평가하기 위한 ADR(Autonomous Drone Racing Competition) 대회가 있는데요. 대회를 통해서 현재 기술력이 어디까지 발전되고 있는 건지 궁금합니다.

ADR는 세계 최대 국제로봇학술대회인 IROS 2016 대전대회에 KAIST의 심현철 교수님과 만들어서 COVID19 팬데믹 이전인 2019년 까지 매년 IROS에서 개최되었습니다. 드론 스스로가 여러개의 관문을 인식하고 비행하여 통과하는 대회로 드론 제어, 장애물 인식, 맵핑, 경로 생성 기술에 대해 경쟁하는 것입니다.

2016년 첫 대회에는 26개의 게이트가 설치 되었는데 우승팀은 10개의 게이트를 1분 26초에 통과하는 수준이었습니다. 사람은 두 번 시도에 26개 게이트 모두를 1분 31초에 통과할 수 있었습니다. 2018년에는 자율비행드론의 경우 8개의 게이트를 모두 31초에 통과한 팀이 우승하였는데, 인간 파일럿의 27초 기록에 크게 뒤지지 않은 수준입니다. 하지만 아직도 자율비행드론 기술은 4대의 드론이 순간최대속도 40m/s를 넘는 속도로 경주를 하며 장애물을 통과하는 DRL(Drone Racing League)의 프로선수들에 비할 수준이 아닙니다.

이제 겨우 혼자 저속으로 비행하는 수준입니다. 현재 자율비행 드론 기술로는 사람이 조종하는 드론에 비하면 속도가 많이 느립니다. 더 빠른 속도에서 자율비행 드론이 비행하며 미션을 수행하기 위해 고속으로 이동하며 정확한 자세 추정 기술, 자율비행 제어 기술, 카메라를 통한 인식 기술, event camera와 같은 고속비행시 유용한 센서 기술이 개발 중에 있습니다.

11. 생활 환경에서 사회성을 반영한 서비스 로봇의 물체 다루기 원천 기술 개발 연구에 대한 자세한 설명 부탁드립니다.

우리 생활에 도움이 되는 진정한 서비스 로봇은 집에서 ‘물 좀 줘’라는 단순한 명령을 했을 때 냉장고에 가서 물병을 찾아 꺼내 들고 유리잔에 물을 따라서 쟁반에 담아 가져다 줄 수 있어야 할 것입니다. 사람은 로봇에게 단순하게 ‘물 좀 줘’라고 했지만, 이 3음절짜리 명령을 수행하기 위해서 로봇은 마실 물을 담고 있는 물병을 찾아야 하고, 그것이 냉장고에 있다는 것을 알아채야 하고, 냉장고에서 물병을 꺼내기 위해서는 우선 닫혀있는 냉장고 문을 열고, 그 안에서 물병을 찾아야합니다.

이러한 일련의 작업을 스스로 계획할 수 있어야 합니다. 물론 냉장고를 향해서 스스로 이동하고, 냉장고 문을 열기 위해서 손잡이를 잡을 수 있어야 하고, 냉장고 문이 회전하며 열리는 구속된 동작을 이해하며 열 수 있어야 합니다.

물병이 가려져 있다면 가린 물체를 치우고 물병을 찾아야 합니다. 이 과제에서는 이와 같이 생활 환경에서 필요한 지식을 정의하고, 지식을 이용해서 필요한 작업을 추론하고, 작업 계획을 자동으로 수립하고, 로봇이 이 작업을 수행하기 위해서 스스로 동작을 만들어내는 task-motion planning 기술을 연구하였습니다.

12. 연구하시는 로봇에 대한 국내상황과 국외상황을 구체적으로 비교해주신다면 어떤 실정인가요.

서비스 로봇을 위한 작업-동작 동시 계획과 같은 연구는 국내에서 처음 시도 되었습니다. 해외에서는 이미 오래전부터 간단한 요리 작업 수행을 대상으로 작업-동작 동시 계획 문제를 연구하고 있습니다. 단순한 시나리오이지만 원천 연구를 수행하기에 충분한 대상을 선택해서 기반을 잘 다지면서 연구를 하고 있습니다. 국내에서는 보다 실용적인 것을 요구하는 것 같습니다.

한번에 너무 먼 걸음을 디디라고 하는 느낌입니다. 서비스 로봇 뿐만 아니라 물류 자동화 로봇, 드론 등 거의 모든 로봇 개발과제의 경우, 밟아야 하는 단계를 건너 뛰거나 로봇을 위한 환경 개선을 미루고 개발자에게 모든 짐을 지우는 상황이 많이 있습니다.
다만, 실용적이고 실제적인 응용을 목표로 하는 응용연구를 목표로 하는 경우가 많기 때문에 적은 수의 연구자와 늦은 시작에도 불구하고 국내 로봇 기술이 빠르게 성장하고 있는 것 같습니다. 제가 시니어 에디터로 일하고 있는 IEEE Robotics and Automation Letters에 출판된 최근 8년의 논문 수를 살펴보면 한국이 미국, 중국, 일본에 이어 세계 4위를 기록하고 있습니다. 로봇 강국인 독일을 뛰어 넘는 수준입니다.

13. 연구 진행 중 어려운 점이 있었다면 어떤 점이었으며, 어떻게 해결해 오셨는지 알려주세요.

연구를 수행하기 위해서는 의미 있는 문제 정의, 좋은 아이디어, 문제를 해결할 수 있는 인력, 충분한 재원, 그리고 적절한 공간이 필요합니다. 로봇 분야에 있어 해결해야 하는 중요한 문제는 아주 많이 있습니다. 지금까지 중요하다고 생각되는 문제들을 정부부처 과제 혹은 기업과제로 만들 수 있었습니다.
다만, 간혹 과제 수주에 실패해서 연구비가 부족한 경우가 있었지만, 그래도 중요한 문제를 붙잡고 연구를 지속할 수 있었습니다. 최근에는 좋은 프로그래밍 기술을 가진 연구원을 찾는 것이 어려워지고 있습니다. 기계공학 전공 학생 중에 다양한 프로그래밍 경험이 있는 학생을 찾기 어렵습니다. 컴퓨터를 전공한 학생들은 취업이 잘 돼서 그런지 진학자 수가 적습니다. 학부 교육에 있어 좀 더 다양한 프로그래밍 실습을 할 수 있도록 노력하는 중입니다.

14. 이런 연구에 힘입어 앞으로 연구 계획 중인 연구나 또 다른 목표가 있으신지 궁금합니다.

작업-동작 계획 연구 성과를 좀 더 실용화에 가깝게 하기 위해서 식당에서 먹고난 식기를 치우는 일을 로봇으로 하는 연구를 올해부터 KIST, 한양대와 같이 시작합니다. 클라우드 지능 증강 파지 기술 연구는 제조업에 적용하는 것을 목표로 전자부품연구원과 올해부터 연구를 시작합니다. 인식기반 이동파지 및 조작지능 연구에 집중하고 있습니다.

15.앞으로 관련 분야를 공부하는 후학(대학원생들)에게 이 분야의 연구에 대한 비전을 제시해 주신다면.

국내 뿐만 아니라 전세계적으로 로봇에 대한 기대와 관심이 높아지고 있습니다. 일론 머스크는 스스로 테슬라가 세계 최대의 로봇 회사라고 칭하며 로봇 개발을 이야기 했습니다.
국내 대기업인 현대자동차도 차세대 기술로 UAM과 로봇을 이야기 합니다. 삼성전자도 로봇 사업에 대한 비전을 제시했습니다. 엘지전자는 이미 몇 년전부터 로봇 분야 인력을 끌어 모으고 있습니다. KT는 이동 로봇을 이용한 서비스를 선보이고 있습니다. 물류 현장에서는 로봇에 대한 기술 개발을 어느때 보다 큰 목소리로 이야기 합니다.
산업부 과제 반 정도가 물류 관련된 로봇 기술 개발일 정도입니다. 국내 협동로봇 회사는 코스닥에 상장을 했고, 레스토랑 서빙 로봇, 배달 로봇 분야에는 국내 스타트업 회사가 큰 규모의 투자를 받았습니다. 투자자들은 투자할 로봇 기업, 창업가를 찾고 있습니다.
먼 미래의 것으로 보이던 로봇 기술은 임금 상승, COVID로 인한 환경 변화로 인해 더욱 더 우리 가까이에 오고 있습니다. 할 일은 많은데 인력은 부족한 것이 현실입니다. 로봇은 다양한 분야의 기술이 필요한 진정한 융합 분야입니다. 기계, 전기전자, 컴퓨터는 물론이고, 인간 공학, 심리학, 디자인까지, 다양한 분야의 학생들이 로봇 연구 개발에 참여하면 좋겠습니다.

Autonomous Robot Navigation
Soft robotics
Logistics robotics
Autonomous drone
AI manipulation

[성균관대학교 기계공학부] 로봇및지능시스템 연구실

전체댓글 0

[로그인]

댓글 입력란

0/500자