최근 로봇 기술의 발전에 따라 신체의 움직임을 및 힘을 보조할 수 있는 웨어러블 로봇이 활발히 개발되고 있으며, 이는 산업 현장 및 재활 분야에서 활용되고 있다. 웨어러블 로봇을 통해 효과적으로 움직임을 보조해주기 위해서는 로봇을 착용한 사용자의 움직임 의도를 파악하여 적절한 타이밍에 의도한 동작을 보조하는 것이 중요하다. 적절한 순간에 의도한 동작을 보조하지 못하는 경우 오히려 로봇이 신체의 움직임을 방해하게 될 수 있다. 신경질환으로 인해 운동기능을 잃은 환자의 재활에 있어서도 뇌로부터 내려오는 동작의도에 맞게 움직임을 전달하는 것이 인과 관계가 뚜렷한 효과적인 신경자극을 주고 뇌의 기능적 변화 (Neuroplastic change)를 촉진하기 때문에 효과적인 운동기능 재활을 위해 중요하다.

손의 경우 신체부위 중 가장 자유도가 높고 다양한 동작을 수행할 수 있기 때문에, 다양한 동작 의도를 파악하는 것은 손을 보조하는 웨어러블 로봇의 제어에 있어서 매우 중요하다. 손 보조 및 재활 로봇의 효과적인 제어를 위해서 생체 신호 및 신체의 움직임을 이용한 다양한 동작의도인식 방법들이 연구되고 있다. 본문에서는 웨어러블 손 보조 및 재활 로봇의 제어를 위한 의도인식 방법의 연구 동향에 대해서 소개하고자 한다.







근육 세포가 전기적으로 혹은 신경적으로 활성화될 때 발생하는 전위차로 인해 나타나는 전기적 신호를 근전도 신호라고 한다. 신체의 동작은 근육의 수축에 의해 일어나고 이는 전기적인 신경신호로부터 조절이 되기 때문에 다양한 근육에서의 근전도 신호의 크기와 활성화 패턴으로부터 동작의 의도를 파악할 수 있다. 손을 움직이게 하는 근육은 손 내부와 팔뚝 쪽에 분포하기 때문에 해당 위치에 근전도 센서를 부착하여 손의 동작 의도를 측정할 수 있다.

홍콩폴리텍대학에서는 뇌졸중으로 인해 마비된 환측 팔에 대해 팔뚝 쪽에 위치한 신전근(extensor digitorum communis)과 손의 엄지두덩 쪽에 위치한 짧은엄지벌림근(abductor pollicis brevis) 부근에 근전도 전극을 부착하였다. 이 전극들을 통해 손가락의 신전과 굽힘 동작의도를 측정하여 외골격형(exoskeleton) 손 재활 로봇을 제어하였다 (Fig. 1) [1, 2].

손에 착용된 외골격형 로봇은 해당 근전도 신호가 특정 임계 값 이상이 되고 100 ms 동안 유지되었을 때 외골격 손 재활 로봇의 구동을 통해 손을 열거나 닫았으며, 근전도의 임계 값은 각 훈련 세션 및 운동 기능에 따라 변경된다. 이 연구에서는 뇌졸중 환자의 재활에 본 시스템을 적용하였으며 근전도 신호를 통해 손 재활 장치를 제어하도록 함으로써 환자가 최대한 훈련에 집중하고 사용 가능한 근육을 최대한 활용하도록 유도하였다.






손으로 물체를 파지 할 때 사람은 지속적으로 물체와 손의 상대적 위치를 관찰하면서 손의 움직임을 제어한다. 카이스트와 서울대학교에서는 1인칭 시점의 시각적 정보로부터 물체와 손의 상대적 위치 관계에 대한 공간적인 정보와 팔이 물체를 잡기 위한 움직임에 대한 history인 시간적인 정보로부터 물체를 잡고자 하는 파지의 의도를 파악하고자 했고 이를 소프트한 손보조장치의 제어에 활용했다(Fig. 3) [4].

본 연구에서는 카메라가 부착된 안경으로부터 웨어러블 소프트 보조 장갑을 착용한 건강인이 grasping-and-releasing 테스크를 할 때의 영상정보를 측정하였고, 영상을 “None”, “Grasping”, “Release”의 레이블로 나누어 영상정보와 레이블의 관계에 대한 신경회로망 모델(VIDEO-NET)을 기계학습 하였다. 학습된 모델을 통해 카메라로부터 측정되는 시각적인 정보로부터 손의 동작의도를 추정하여 손 재활 장갑이 움직인다.

본 시스템을 통해서 추정한 동작의도는 근전도 센서를 통해 측정한 동작의도와 최대 0.8초의 오차를 보여 의도가 비교적 잘 반영된다는 것을 알 수 있다. 본 연구에서는 세가지의 동작을 구분하였으나, 같은 방법을 활용하여 더 복잡한 동작에 대한 의도도 파악할 수 있을 것이라 기대한다.

그러나, 시각적인 정보만 활용하기 때문에 환경적인 조건에 따라서 손이나 물체가 가려지거나 보이지 않게 되거나 다양한 물체가 있는 상황에서 활용의 한계가 존재하며, 동일을 형태의 물건을 잡을 때 얼마나 큰 힘으로 잡을지에 대한 의도 또한 파악하기 어렵다.






가장 직접적이고 먼저 동작에 대한 의도가 발생하는 곳은 사람의 뇌이고, 재활에 있어서 가장 중요한 것을 움직임에 대한 뇌의 활성도를 높이는 것이기 때문에 뇌의 신호로부터 의도를 파악하여 재활 장치를 움직이는 것이 신경재활에 효과적이다. 뇌 전기적 활동은 두피에 부착한 전극을 통해 측정할 수 있고 이를 뇌전도(EEG) 신호라 한다.

독일의 튀빙겐 대학에서는 뇌전도 신호와 눈의 움직임을 측정하는 안전도(EOG) 신호를 같이 활용하여 손을 닫고 여는 동작의도를 파악하였다 (Fig.4) [5].
뇌전도 신호로부터 손의 파지 의도를 파악하여 이에 따라 손을 닫도록 하였으며 안전도신호로부터 손을 여는 동작의도를 파악하였다(Fig. 4(b)). 뇌전도 측정을 위한 전극은 오른손의 움직임을 관장하는 C3 위치(Fig.4(a))에 부착되었으며 실시간 신호 분석을 통해 얻은 sensorimotor rhythm event-related desynchronization (SMR-ERD)이 특정 임계점을 도달했을 때 파지 동작의 의도를 파악하였다. SMR-ERD는 감각 운동 피질영역에서 alpha 영역의 신호의 세기가 짧은 시간 동안 감소하는 현상으로 움직임 직전에 나타나 동작 의도로 활용할 수 있다 (Fig. 4(c)).

이 연구에서는 뇌전도와 안전도 신호를 통한 의도 인식 방법을 활용하여 외골격 장치를 제어하여 척추손상으로 인한 사지마비 환자의 손운동기능을 유의미하게 증가시켰다.





동중국과학기술 대학교에서는 최대한 뇌의 활성도를 높이면서도 다양한 동작의 의도를 파악하기 위해서 뇌전도, 근전도, 안전도 신호를 통합하여 의도를 파악하여 손 재활 장치의 제어에 적용했다 [6]. 뇌전도 신호와 안전도 신호는 40개의 전극을 통해 측정되었고, 근전도는 8개의 전극을 갖고 있는 밴드 형태의 Myo Armband를 건측 팔뚝에 착용하여 측정하였다(Fig. 5(a)).

본 손동작 의도 인식 방법은 뇌전도 신호를 통한 오른손 혹은 왼손 움직임의 상상(Motor Imagery)의 인식, 건측의 근전도 신호를 다양한 손 및 손목 움직임 인식, 그리고 눈의 오른쪽 왼쪽 움직임을 인식하여 이를 장치를 여러가지 손 동작을 수행하는 동작 의도로 활용하였다. 처음에는 안전도 신호로 제어되는 모드로 설정이 되어 있고 눈을 두 번 깜빡일 때 모드의 전환이 일어나며, 안전도 모드-뇌전도 모드-근전도 모드-안전도 모드의 순서로 모드가 전환된다(Fig. 5(b)).





안전도 센서 값이 Fig. 6(a)의 임계점 T1만을 넘을 때는 의도적이지 않은 눈 깜빡임으로 인식하고, 값이 임계점 T2를 넘어설 때 의도적인 깜빡임으로 인지하였다. 특정 time window안에서 두 번의 의도적인 깜빡임이 인지되었을 때 제어 모드가 전환된다. 안전도 신호는 눈동자를 왼쪽으로 움직이면 값이 증가하고 오른쪽으로 움직이면 값이 감소하는 형태를 띄기 때문에 (Fig. 6(b)), 이 신호의 변화를 활용하여 의도를 파악하였으며 각 의도에 따라 손가락으로 물체를 밀거나(눈동자를 왼쪽으로 움직일 때) 당기는 동작(눈동자를 오른쪽으로 움직일 때)을 수행한다.





뇌전도 센서를 통한 동작 의도는 독일 튀빙겐 대학의 연구와 마찬가지로 손의 감각 운동영역에 배치된 뇌전도 전극인 C3 (오른손 의도), C4 (C3의 위치와 대칭인 지점, 왼손 의도)에서의 신호의 ERD를 통해 움직임의 의도를 인식하였다 (Fig. 6(c)).

근전도 센서의 경우 Myo Armband 제품의 소프트웨어에 내재된 기본 알고리즘을 통해 Rest, Fist, Wave in (손목 굽힘), Wave out (손목 신전), Finger spread (손가락 신전), Double tap을 인식하였다. 다양한 생체 신호를 통한 의도 인식 알고리즘을 통해 Fig. 7에서 보는 것과 같은 9가지의 동작을 손 재활 장치로 의도에 따라 수행할 수 있었다.





동작의도 인식은 안전도, 뇌전도, 근전도 모드에 대해 각각 95%, 92%, 96%로, 평균 94%의 정확도를 보였다. 그러나 이 연구는 건강인에 대한 실험이기 때문에 환자에 대해 추가적인 검증이 필요하다. 환자는 뇌신경적인 질환을 갖고 있기 대문에 뇌전도 값이 다른 형태를 띌 것이기 때문에, 뇌전도 분석을 통해 의도를 인식할 수 있는 최적의 센서를 도출해야 한다.  

뇌전도 신호를 이용한 연구에서는 뇌전도 신호를 통해 손의 움직임 의도와 어느 쪽 손을 움직일 지에 대한 의도는 파악할 수 있었으나, 어떤 형태로 파지를 하는 지와 closing과 opening 움직임인지에 대한 의도는 파악하기 어렵기 때문에 다른 생체 신호를 같이 활용하여 이를 보충했다는 것을 알 수 있다. 효과적인 뇌신경자극을 전달하기 위해서는 서로 다른 움직임에 따른 구분된 뇌 활성화를 유도하는 것이 중요하나 현재의 뇌전도 측정장비와 분석 기술을 통해서는 실시간으로 뇌전도 신호를 통해서 이를 유도하는 데는 한계가 있다.




최근 손 보조 로봇을 활용한 효과적인 손 기능 재활 혹은 보조를 위하여 다양한 생체 신호를 활용하여 의도를 파악하려는 연구들이 진행되어 왔으며, 이를 통해 의도에 따라 손을 열고 닫는 움직임을 수행할 수 있었다. 움직임 의도가 있을 때 손 재활 장치가 보조를 하도록 함으로써 손 움직임에 대한 고유 감각의 신경 자극이 의도와 긴밀하게 연결될 수 있도록 하여 보다 효과적인 뇌 신경 자극을 가능하게 하였다.

하지만, 높은 자유도를 갖는 손에 비해 현재까지의 연구에서 근전도, 시각적 정보, 뇌전도 신호를 통해서 얻을 수 있는 동작 의도는 적다. 동중국과학기술대학에서는 다양한 생체 신호를 통합하여 더 다양한 동작 의도를 포함할 수 있도록 노력하였으나, 실제의 동작과는 무관한 신호를 사용하고 있기 때문에 기존의 근육 활성화 패턴을 유도하는데 한계가 있고 동작에 따른 구분된 뇌 신경자극을 유도하는 데는 아직 어려움이 있다.

손 보조 로봇을 활용하여 다양한 손 동작에 대한 효과적인 재활 훈련 혹은 보조를 위해서는 보다 다양한 동작 의도를 파악할 수 있는 방법에 대한 연구가 필요하다. 최근에는 해상도가 높은 근전도 센서와 뇌전도 센서들이 개발되고 있고, 다양한 기계학습 기법이 개발됨에 따라 이를 활용하면 더 다양한 손 동작에 대한 의도를 파악할 수 있을 것으로 기대된다.