본문 바로 가기

로고

국내 최대 정보 기계·건설 공학연구정보센터
통합검색 화살표
  • NX CAE(Nastran)
  • 신진연구자인터뷰

    신진연구자인터뷰는 기계및 건설분야의 세계적인 과학 학술지에 논문을 게재한 한국인 연구자들의 연구성과와 연구자 정보를
    여러 연구자와 기관 등에 소개하고자 기획되었습니다. 대상은 주로 대학원 석사이상의 최근 5년이내 관련분야의
    대표 학술지나 학술대회에 논문을 투고한 사람입니다. 대상문의(ariass@naver.com)

    • 이상욱(Sanguk Lee)
      AI System Architecture의 설계와 개발
      이상욱(Sanguk Lee)(MIT Mechanical Engineering)
      이메일:sangukbo at mit.edu
      3850 2 33


    1. 본인의 연구에 대해서 소개를 부탁 드립니다.

    저는 전통적인 기계공학 분야에서는 다소 생소할 수 있는 인공지능(AI)에 대해 연구하고 있습니다. 제가 이 분야를 선택하게 된 가장 큰 계기는 제 학부 논문 지도 교수님이셨던 서울대학교 기계항공공학부 박종우 교수님의 영향이었습니다. 교수님께서는 기계학습(Machine Learning)의 활용을 논문 주제로 추천해주셨는데, 이를 통해 컴퓨터과학의 새로운 세계를 접할 수 있었습니다. 처음에는 생소하였고 필요한 지식의 내용도 기계공학의 학부과정에서 배운 것과 달라 많이 힘들었지만, 컴퓨터를 인간처럼 학습시킬 수 있다는 것이 상당히 매력적으로 다가왔습니다. 학부를 마친 후, 저는 기계학습을 포함하여 더 넓은 범주의 인공지능 분야를 연구하기로 마음먹었습니다. 그래서 저는 MIT Mechanical Engineering의 Robotic Mobility Group(RMG)에 석사과정의 연구생으로 지원하였으며, 그곳에서 Karl Iagnemma 박사님의 지도로 자율주행차량의 Robust Optimal Motion Planning 에 대해 연구하였습니다. 그 내용은 요약하면, 불확정적인 조건으로 자율주행차량이 어떤 경로를 선택해야 하는지 설계하는 것입니다. 이는 특히 농업용 로봇이나 화성 탐사 로봇과 같이 차량 Slip이 크게 발생할 수밖에 없는 로봇의 주행에서 필수적입니다. 그러한 상황에서 장애물에 부딪히지 않고 안전하면서도 가장 효율적으로 주행할 수 있는 경로를 Planning 하는 것이 저의 석사과정에서의 연구주제였습니다.

    그런데 석사과정을 마치면서 아쉽게도 Karl Iagnemma 박사님이 Nutonomy 라는 벤처 회사를 설립하시면서 MIT의 Lab.을 정리하시게 되었고, 이를 계기로 저는 보다 통합적인 AI의 연구에 도전해 보기로 마음먹었습니다. 그리하여 저는 MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) 소속의 Model-based Embedded and Robotic Systems (MERS) Group에 박사과정의 연구생으로 참여하였습니다. MERS Group은 Brian Williams 교수님의 지도로 20여 명의 구성원이 연구를 수행하는 큰 규모의 LaB.입니다. MERS Group의 연구주제는 한마디로 표현하면 ‘사람과 같이 사고할 수 있는 로봇(Cognitive Robot)을 만들자’ 입니다. 따라서 저희 그룹의 연구의 가장 큰 특징은 로봇에 사용되는 Low Level 에서부터 High Level까지 여러 단계의 거대한 AI System Architecture를 통합적으로 설계한다는 것입니다. 그리하여 High Level까지 올라가면, 로봇은 사람이 생각하고 작업하는 것과 유사하게 Predicate(참과 거짓을 구분할 수 있는 명제)를 사용하여 주변의 환경에 대해 인지하고 이를 토대로 앞으로 해야 하는 작업을 계획(Activity Planning)하며 나아가 이를 실행 및 감시(Execution and Monitoring)합니다. 이러한 단계로까지 발전되어야 비로소 로봇은 사람과 진정한 팀메이트가 될 수 있을 것입니다. 현재 많은 AI 연구는 이러한 통합적인 AI system architecture를 크게 염두에 두지 않고 개별 파트(Speech recognition, Computer Vision, Motion Planning, Control, Activity planning, Execution and Monitoring 등)에 집중하고 있는 상황으로 파악됩니다. 물론 이러한 개별 파트에 대한 연구도 계속 진행되어야 하고, 또한 그러한 각 파트에서의 연구가 AI의 통합적 발전에 필수적인 바탕이 되는 것은 사실입니다. 그러나 최근에는 개별 파트의 연구에서도 의미 있는 발전이 축적되어서 통합적인 AI System Architecture의 설계가 병행적으로 요구되는 단계입니다.

    다음의 그림은 MERS Group의 AI System Architecture에 대한 개념도입니다. 여담입니다만, MERS Group 의 모든 파트는 유명한 SF 미드 Star Trek 의 캐릭터의 이름을 따서 만들어졌으며, 전체 시스템 또한 모든 캐릭터가 타고 다니는 우주선의 이름인 Enterprise로 지어졌습니다. 개념도의 내용에 대하여 간단히 설명하면 다음과 같습니다.



    1)  High Level:  사람처럼 생각하고 계획하기 위해 추상적인 개념을 사용하는 과정

    - Uhura: 음성데이터를 처리하여 사람이 로봇에게 주는 명령을 파악하고, 더 나아가 처리하기 힘든 명령인 경우 대안까지 제시합니다. (예: 사람-물 좀 가져다 줘. 로봇-물은 없고 주스는 있네요. 주스를 가져다 드릴까요? 사람-주스 가져다 줘.)

    - Bones: 로봇의 상태를 High Level 에서 추정하고 임무 실패 여부에 대해 진단합니다. (예: “로봇이 주스를 들고 있습니다” 또는 “로봇이 주스를 드는 것을 실패했습니다”)

    - LCARS: 로봇과 함께 일하는 사람이 수행하는 작업 및 의도를 파악합니다. (예: “사람이 컵을 들고 있습니다”)

    - Kirk: 주어진 문제에 대해 High Level 에서 작업의 종류 및 순서를 계획합니다. (예: 사람에게 주스를 주는 문제는 다음과 같은 작업 흐름 계획할 수 있습니다. 로봇-냉장고로 이동 후 주스를 들고 사람에게 온다, 사람-컵을 탁자 위에 올려놓는다)

    - Pike: Kirk 에서 작성된 계획에 따라 작업을 실행하고 감시합니다. (예: 사람에게 주스를 주는 작업의 수행과정에서, Bones 를 통해 로봇이 주스를 들고 있는지 실패하였는지 감시하고, 실패하였을 경우 이를 다시 시도하거나 다른 주스를 들도록 명령을 내립니다)


    2) Intermediate level:  High Level 에서의 작업을 Low level 의 작업으로 변환시켜주는 (또는 그 반대 방향의) 과정

    - Chekov: 중간단계(Intermediate Level)에서 로봇이 어떻게 움직여야 할지 Motion Planning을 수행합니다 (예: High Level 의 결과에 따라, 로봇이 주스를 들어야 할 때와 주스를 들기 위해 로봇 팔을 어떠한 경로로 이동시켜야 할지 계산합니다)

    - Speech recognition, Object detection: Low Level 에서 전처리 과정을 거친 데이터를 1차적으로 처리하여 사람이 하는 얘기를 로봇의 언어로 Mapping 해 주거나 주변의 사물을 인지하도록 해 줍니다.

    3) Low level:  로봇이 주변 환경과 상호작용할 때 거치는 가장 처음의 과정

    - Microphone, Stereo camera: 이러한 센서들을 사용하여 데이터를 받아들이고 일차적인 전처리 과정을 수행해줍니다.

    - Low level controller: 상위 단계들에서 내려진 명령을 로봇이 실제 움직일 때 필요한 Control Command 로 변환시켜 줍니다.

    MERS Group의 연구자들은 대부분 통합적인 AI system architecture의 각 파트 중에서 하나를 맡아 대학원 과정 동안 해당 부문을 집중적으로 연구합니다. 저는 그 중에서 Human Robot Interaction (HRI) 분야에서 필수적으로 요구되는 Human activity and intent recognition이라는 주제로 연구를 진행하고 있습니다. 특히 스테레오 카메라로 얻은 low level의 이미지 데이터에 Convolution Neural Network (CNN) 알고리즘을 적용하여 각 물체의 종류 및 위치를 파악한 후, 이를 토대로 사람이 수행하고 있는 작업(activity)과 의도(intent)를 High Level에서 추정하는 것이 연구의 목표입니다. 여기서 그 결과는 위의 개념도에 있는 다른 여러 activity planning 및 execution and monitoring 파트와 연계되어야 하므로 사람의 행동을 정확하면서도 범용성있게 모델링해야 합니다. 이를 위해서는  Qualitative Spatial Representation and Reasoning(QRS) 라는 수학적 도구를 활용할 예정입니다. 또한 MERS Group의 학생들은 각자가 개별적인 파트를 맡아서 연구하지만, 각자의 연구가 상호 연계되어야 하는 것은 매우 중요한 명제이기 때문에 많은 발표와 활발한 토의를 통해 서로의 분야를 이해하고 이를 통해 통합적인 AI system architecture의 설계를 추구하고 있습니다.

    참고로, 제 연구의 결과가 활용될 수 있는 대표적인 경우로는 공장자동화 과정에서 사람과 로봇이 함께 작업하는 시나리오를 들 수 있습니다. 같은 MIT CSAIL 소속의 Julie Shah 교수님이 Carnegie Mellon University (CMU)에서 하셨던 강연에 의하면, 현재 공장자동화는 상당히 이루어진 것처럼 보이지만, 실제로는 자동차나 비행기의 최종 Assembly 과정과 같은 가장 성공적인 예시에서 조차도 실제로 사람이 개입되어야 하는 과정이 전체 조립업무의 절반정도를 차지한다고 합니다. 따라서 제 연구주제가 다루는 ‘사람이 어떠한 의도를 가지고 어떠한 작업을 하는지’를 로봇이 파악하는 것은 공장자동화의 완성을 위해 매우 필수적인 과제가 될 것입니다. 실제로 제 연구를 비롯한 MERS Group의 여러 연구는 미국의 Boeing과 일본의 Toyota와 같은 여러 기업에서 Funding 을 받고 있으며, 제 연구가 포함된 MERS Group의 AI system Architecture는 Toyota Research Institute (TRI)에서 개최하는 Competition 에 참가할 예정입니다.



    2. 본인의 대표 논문

    1.  S. U. Lee and K. Iagnemma, “Robust Motion Planning Methodology for Autonomous Tracked Vehicles in Rough Environment Using Online Slip Estimation,” IEEE International Conference on Intelligent Robots and Systems (IROS), Otc. 2016, Deajeon, Korea.
    (http://ieeexplore.ieee.org/abstract/document/7759528/)

    2.  S. U. Lee, R. Gonzalez, and K. Iagnemma, “Robust Sampling-based Motion Planning for Autonomous Tracked Vehicles in Deformable High Slip Terrain,” IEEE International Conference on Robotics and Automation (ICRA), May 2016, Stockholm, Sweden.
    (http://ieeexplore.ieee.org/abstract/document/7487413/)

    3.  S. U. Lee, A. Jasour, A. Hofmann, B. Williams, “Robust Human Activity Monitoring Using Qualitative Spatial Representation and Reasoning,” IEEE International Conference on Robotics and Automation (ICRA), May 2018, Brisbane, Australia. – Submitted.

    Abstract— This paper presents a robust human activity monitoring algorithm. We focus on a human activity monitoring problem with three distinct characteristics: i) there is significant sensing noise, ii) humans act according to a predefined abstract behavior model in the context of a plan, and iii) spatial relations between the objects involved are an important aspect. Our algorithm, called Logical Activity Recognition System (LCARS), has two components: i) the offline compilation component and ii) the online estimation component. The offline part autonomously generates the online part using common sense structural and logical knowledge. This knowledge is based on the abstract human behavior model, written in Planning Domain Definition Language (PDDL), and spatial relations between objects, represented using Region Connection Calculus-8 (RCC-8). The resulting online part has a layered structure, designed as a series of Hidden Markov Models (HMMs) coding common sense knowledge. Experimental result shows that LCARS is robust even under significant sensing noise.


    3. 연구 중에 어떤 극복해야 할 문제가 있었고 이를 어떻게 해결하셨는지?

    저는 학부에서 기계공학을 전공하였지만, AI 분야의 연구에서 기본적으로 요구되는 지식은 제가 배웠던 것과 상당히 달랐습니다. AI 분야의 연구에서는 코딩 능력이 매우 높게 요구되며, 더 나아가 컴퓨터 과학에 대한 폭넓은 이해 또한 필요합니다. 따라서 연구초반에 컴퓨터 과학을 학부전공으로 배운 대다수의 MERS Group 학생들을 따라잡는 과정이 많이 힘들었습니다. 더욱이 AI 분야는 학문의 특성상 상당한 수준의 수학을 요구하며, 더 나아가 필요한 수학의 종류도 기계공학의 학부과정에서 배운 수학과는 많이 달랐습니다. 즉, 기계공학에서 주로 사용되는 수학은 뉴턴 방정식에서 출발하여 도출되는 PDE형태의 수식에 대한 해석인 반면, AI 분야에서는 함수해석학, 위상수학, 확률론 등과 같은 추상적인 수학이 많이 사용됩니다.

    따라서 컴퓨터과학과 수학에 대한 기초적인 공부에 남들보다 더 많은 많은 노력을 쏟아야 했습니다. 하지만 새로운 분야에 대한 어려움을 극복하고 난 후에는 오히려 저의 기계공학 배경이 크게 도움이 되었습니다. 특히 MERS Group 에서는 AI System Architecture 전체를 다루어야 하기 때문에 Low Level 에 해당하는 로봇 센서 및 제어에 대한 해석이 필요한데, 이는 저를 비롯한 기계공학의 배경을 가진 학생들이 훨씬 수월하게 수행합니다. 또한 전체 Architecture를 구성하는 과정에서도 기계공학의 학부에서 공부하였던 제품 디자인과 개발에 관한 프로젝트 수업의 지식과 경험이 큰 도움을 주고 있습니다.


    4. 본인이 영향을 받은 다른 연구자나 논문이 있다면?

    저는 석사를 마치고 대학원 과정 도중에 그룹을 바꾸었는데, 제가 지도를 받은 두 교수님은 저에게 큰 영향을 주셨습니다. 먼저 석사과정을 지도해주셨던 Karl Iagnemma 박사님은 MIT 에 계시면서 Nutonomy 라는 벤처회사를 설립하셨는데, 이를 옆에서 지켜볼 수 있었던 것 만으로도 저에게는 중요한 경험이 되었습니다. 또한 현재 저를 지도해주시는 Brian Williams 교수님은 MIT에 오시기 전, Xerox Palo Alto Research Center와 NASA Ames Research Center에 계셨고, 따라서 Industry에서 필요로 하는 연구 주제를 찾아내는 데에 상당한 감각을 가지고 계십니다. 저는 이 두 분을 통해 공학에는 Academia 못지않게 Industry에서의 활동이 매우 중요하다는 것을 깨닫게 되었습니다. 그리하여 저는 학문으로의 연구에만 그치지 않고 저의 전문성을 Industry의 영역으로까지 확장해 나아가 보고 싶다는 생각을 하게 되었습니다.


    5. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

    AI는 오늘날 매우 빠르게 우리의 일상에 녹아들고 있습니다. 당장 우리의 스마트폰에 있는 앱에는 여러 AI 알고리즘이 적용되어 있습니다. Google, Tesla를 비롯한 많은 회사들은 자율주행차를 성공적으로 상업화하고 있습니다. Amazon은 자동화된 물류센터를 건설하여 더욱 빠르게 소비자에게 물건을 배송해주고 있습니다. 저는 이처럼 AI가 성공적으로 우리의 삶에 응용되는 모습을 보면서 이 분야를 연구하는 학생으로서 큰 자부심과 보람을 느낍니다. 물론 그러한 과정에서 여러 사회적 문제들이 야기될 수 있는 것도 사실입니다. 하지만 산업혁명이 성공하면서 궁극에는 인류가 고된 육체노동에서 해방될 수 있었듯이, 오늘날 우리에게 점점 다가오는 AI 또한 향후 우리를 번잡한 육체적, 정신적 노동으로부터 해방시켜주게 되리라 생각하면서, 최첨단의 연구자로서의 사명을 가지게 되었습니다.


    6. 이 분야로 진학하려는 후배(또는 유학 준비생)에게 도움이 되는 말씀을 해 주신다면?

    AI 분야는 일견 생각하면 컴퓨터 과학의 전유물로 보일 수도 있습니다. 하지만 제가 이 분야를 연구하면서 배운 점은 AI가 하나의 분과에서 발전시켜 나아가기에는 대단히  방대하다는 것입니다. 더욱이 AI의 뗄래야 뗄 수 없는 분야는 Robotics인데, AI를 Robotics에 응용하고자 할 때에는 기계공학에서 배우는 제어 및 모델링 등의 지식이 매우 중요한 역할을 합니다. 따라서 기계공학을 전공하신 많은 후배분들 또한 AI 분야에서 함께 연구해나갔으면 하는 바램입니다.

    첨언하자면, 기회가 된다면 다양한 수학 수업을 들어보시는 것을 추천합니다. AI의 많은 문제들은 수학을 기본 언어로 하여 서술되어 있으며, 이에 사용되는 수학은 기계공학에서 사용되는 수학과는 많이 다릅니다. 따라서 가능하면 학부과정에서부터 수학에 친하고, 특히 함수해석학, 위상수학, 확률론 등을 공부해 두시면 AI의 연구에 큰 도움이 될 것입니다.


     

    • 페이스북아이콘
    • 트위터 아이콘

    전체댓글 33

    사용자 프로필 이미지
    |2018.01.17
    저희는 자동차, 항공 분야 등의 제조현장 자동화, 지능화에 대해 연구중인데요. AI에 관심은 많지만 너무 어렵네요. 앞으로 관련 분야 발전을 위해 응원드립니다
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.04
    좋은자료 감사합니다
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은 정보 감사합니다
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은 정보 감사합니다
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    이론과 성과물을 보네요. 좋은 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은 연구 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    좋은자료 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2018.01.02
    유용한 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.27
    어느 분야에서나 AI가 대세가 될거 같습니다. 잘 읽었습니다!
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.26
    업무가 로봇/인공지능 분야와 연관되어 있어서 흥미롭게 봤습니다. 유용한 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.26
    차량분야에서도 관심있는 연구네요. 더욱 발전하시기 바랍니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.26
    유용한 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.26
    요즘 IOT와 관련하여 상당한 이슈가 있는 좋은 정보네요. 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.23
    저도 기계공학 학부생이지만, AI 등 여타 전공에 관심이 많은 학생입니다. 저도 글쓴 분처럼 여러분야에 발을 딛고 배워보고 싶네요!
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    수고하셨습니다!
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    새로운 연구분야의 정보를 알게 되어 감사드립니다. 융합연구를 통한 놀라운 발전을 기대합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    좋은 정보 감사드립니다~~
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    저도 기계공학과 재학중이고 AI에 대해서 더 공부해보고 싶었는데, 많은 도움 되었습니다^^
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    기계공학의 배경에 시스템 아키텍쳐를 접목하였다니 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    전공과 다른 분야를 접할 때의 느낌을 알 수 있어서 좋은 글이었습니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    좋은 정보..유용한 정보로 댓글 자제좀... . 도배도 아니고...
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    좋은 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    유용한 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.22
    유용한 정보 감사합니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.21
    좋은 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.21
    AI 발전에 어떻게 진화하는지 관심이 큽니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.21
    존경스럽습니다. 저도 machine learning에 대한 관심을 갖다 수학에 대한 난관에 봉착했던것 같은데..많은 도움을 얻어갑니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.20
    요즘 핫한 AI분야 연구네요. 좋은 정보 감사합니다
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.20
    좋은 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.20
    AI 항상 관심있게 보고는 있지만 적용은 못하는 분야입니다. 좋은 정보 감사드립니다.^^
    댓글 입력란
    프로필 이미지
    0/500자
    사용자 프로필 이미지
    |2017.12.20
    요즘 각광받고있는 AI 분야 연구네요. 좋은 정보 감사드립니다.
    댓글 입력란
    프로필 이미지
    0/500자
    댓글 입력란
    프로필 이미지
    0/500자

    서브 사이드

    서브 우측상단1