최근 헬스케어, 의료, 엔터테인먼트 등의 다양한 분야에서 신체 동작을 측정하는 웨어러블 장치의 활용이 확대되고 있다. 특히, 헬스케어나 운동 재활의 경우 움직임의 정량적 측정은 정확한 운동기능 평가와 진단을 가능하게 하게 하여 운동기능 향상을 위한 효과적인 훈련 방법 및 재활을 돕는 로봇의 제어 방법을 결정하는데 중요하기 때문에 정확한 동작 측정이 가능한 웨어러블 장치가 요구된다.
기존의 모바일 장치, 스마트워치 등에는 관성측정센서 (IMU 센서)가 널리 활용되어 신체의 움직임을 측정하고 있다. 그러나, 손의 경우 25-자유도의 높은 자유도를 갖고 있어 자세 측정을 위해 많은 센서가 요구되기 때문에, IMU 센서를 활용하는 경우 측정 장치의 복잡도, 부피 및 가격이 증가하게 된다. 그래서 손 동작 측정 장갑의 경우 콤팩트 (compact) 한 설계가 가능하고 비교적 저렴한 굽힘 센서, 스트레처블 센서 등의 유연한 센서가 많이 활용되고 있다.
유연한 센서는 굽혀진 정도나 신장된 정도에 따라 전기적인 저항 (resistance) 이나 정전용량 (capacitance)이 변화하는 센서로, 손의 동작에 따른 손 표면의 굴곡 변화를 측정하여 관절의 각도를 추정한다. 이때, 관절의 각도를 직접적으로 측정하지 않고 손 표면의 변형을 통해서 측정하기 때문에 정확한 측정을 위해 센서의 위치 선정이 중요하다. 특히, 엄지의 손목허리관절(carpometacarpal; CMC joint)의 경우 안장 모양을 갖고 있어 굽힘/폄(flexion/extension)과 벌림/모음(abduction/adduction)의 2-자유도 움직임을 갖고 있으며 (Fig. 1) 관절이 외부로 드러나 있지 않고 손바닥 안쪽에 위치해 있기 때문에, 손 표면 상에서 단일 자유도를 독립적으로 측정할 수 있는 위치가 없어 센서의 위치 선정과 정확한 관절 각도의 측정이 어렵다 (Fig. 1).
이런 측정의 어려움 때문에 엄지는 다양한 잡기 동작 및 물체 조작을 위해서 가장 중요한 손가락임에도 불구하고 다자유도 엄지움직임의 정확한 측정을 위한 착용형 장치에 대한 연구는 적다. 엄지의 움직임에 따른 표면 변형 관찰을 통해 정성적으로 센서 위치가 선정되어왔다[1-3].
측정 정확도의 향상을 위해 변형의 정량적인 분석을 통한 위치 최적화가 필요하다. 최근 3차원 스캐닝 기술이 발전함에 따라 신체 외형 측정이 가능 해졌으며, 3차원 외형 데이터를 활용한 구조 설계가 이루어지고 있다. 본문에서는 3차원 스캐닝을 활용하여 엄지의 움직임에 따른 손 표면 굴곡의 측정을 통해 단일 자유도의 움직임을 가장 정확하게 측정할 수 있는 센서 위치 선정 방법 및 개별적인 손의 외형적 특성에 따른 최적의 센서 위치를 제시한다[4]. 또한, 이 방법을 통해 구한 최적 센서 위치와 다른 연구에서의 엄지 측정 센서 위치에 대한 측정 정확도를 비교한다.
2-자유도의 엄지 CMC 관절 각도는 다양한 방법으로 정의되고 있다. 활용하는 센서의 종류에 적합한 관절각도 정의를 선택하는 것은 관절각도의 추정 정확도를 향상하는데 중요하다. 유연한 센서를 활용했을 때, 최대한 단일 자유도의 움직임에 대해서만 센서가 변형되며 굽힘/폄 및 벌림/모음과 함께 일어나는 내회전/외회전(rolling)을 고려한 해부학적인 움직임에 가장 부합되는 정의는 Fig. 2에서 보는 것과 같다.
로 정의된 평면 은 rolling 각도에 따라 회전하며, 굽힘(flexion) 각도는 와 이를 에 투영한 사이의 각도로 정의된다. 벌림(abduction) 각도는 와 엄지 손허리뼈(metacarpal)의 방향 사이의 각도로 정의된다.
3차원 스캐닝을 활용한 CMC 관절 각도 센서의 최적 위치 선정은 크게 세가지 과정을 통해 이루어졌다. 먼저, 다양한 굽힘 각도와 벌림 각도를 갖는 엄지 자세에 대해 손 등쪽 표면의 3차원 포인트 클라우드 데이터를 3차원 스캐너를 통해 획득하였다. 다음으로 손 표면상의 다양한 위치와 방향에서의 굴곡을 분석하여 센서가 그 위치 및 방향에 배치되었을 때의 모양과 이에 따른 센서 값을 추정하였다. 마지막으로 엄지의 굽힘 각도와 벌림 각도에 대한 센서 값의 관계 그래프를 분석하여 측정하고자 하는 자유도에 대해서 민감하게 변화하는 반면 다른 움직임에 대한 센서 값의 변화(crosstalk)가 가장 적은 최적 센서 위치를 찾았다. 각 과정에 대한 구체적인 방법은 다음과 같다.
3차원 스캐너를 통해 서로 다른 9개의 굽힘 각도와 5개의 폄 각도 조합을 갖는 총 45개의 엄지 자세에 대한 손 표면의 3차원 포인트 클라우드 데이터를 측정하였다. 피험자가 각 45개의 자세를 취하게 하기 위해서 엄지 자세 가이드를 자체 제작하여 활용하였다 (Fig. 3). 손 표면 3차원 데이터는 다섯명의 남성과 (23세-27세) 다섯명의 여성 (22-52세) 피험자에 대해서 측정하였다.
측정한 손 표면 3차원 데이터를 통한 CMC 관절 각도에 따른 굴곡 변화 분석을 위해 세 단계의 전 처리 과정을 거쳤다. 먼저, 3차원 포인트 클라우드 데이터는 센서가 배치될 중지, 검지, 엄지의 손목허리뼈를 포함하는 엄지 주변의 영역만 남도록 데이터를 잘라냈다 (Fig. 4(a)). 다음으로 45개의 손 표면 데이터는 엄지 움직임에 대해 크게 변하지 않는 해부학적 기준 위치에 기반한 4개의 점을 통해 서로 정렬시켰다 (Fig. 4(b-c)).
손 표면 데이터를 정렬시킨 뒤, Fig. 5(a)에서와 같이 중지의 손목허리뼈의 끝점 를 원점으로 정의하고 원점에서 손끝을 향하는 방향을 x-방향, 로 구성된 평면에 수직인 방향을 z-방향, x와 z 방향과 수직인 방향을 y-방향으로 정의하였다. 표면 굴곡 분석을 위해 xy 좌표로 이루어진 다양한 후보 위치(44개, x 좌표 개수 × y 좌표 개수 = 11개 × 4개)와 해당 위치에서의 다양한 방향(36개, -90º에서 90º까지 5º도 간격 증가)에 대한 단면(cross-section)을 구하였다.
본 연구에서는 유연한 센서 중 변형에 민감도가 높고 반복적으로 안정적인 값이 나오는 2-인치 길이의 상용 굽힘 센서를 활용하였다. 굽힘 센서의 경우 굽힘 각도(θ)와 곡률 반지름(r)에 따라서 센서 신호(V)가 변하며 다양한 굽힘 각도와 곡률 반지름에 대한 센서 값을 분석한 사전 실험을 통해 다음식을 따른다는 것을 확인했다.
손 표면 굴곡에 따른 센서 값을 추정을 위해 앞서 구한 표면 단면에서 2-인치 길이의 굴곡을 추출한 뒤 원으로 곡선 접합하여 Fig. 6과 같이 곡률 반지름과 굽힘 각도를 구하였으며 이를 수식(1)에 대입하여 굽힘 센서의 센서 신호를 추정하였다.
각 후보 센서 위치에서 45개의 자세에 대한 굽힘 센서 신호 값을 추정하였다. 그 다음 추정한 센서 신호와 CMC 관절 굽힘 각도와 벌림 각도에 대한 관계 그래프를 그렸다. 관계 그래프에 대한 선형 회귀를 통해 구한 기울기 값으로 관절 각도에 대한 센서의 민감도(sensitivity)를 정량화 하였으며, 선형 회귀를 통한 추정 값과 실제 센서 신호의 평균 제곱근 편차(root mean square error; RMSE)를 통해 다른 움직임에 의한 영향(crosstalk)를 정량화 하였다. CMC의 각 관절 각도에 대해 수식 (2)와 (3)과 같은 비용 함수(cost function)를 정의하고 이를 최소화하여 측정하고자 하는 관절 각도에 대한 민감도가 높은 반면, crosstalk가 적은 최적의 센서 위치(x,y) 및 방향(ϕ)을 선정하였다.
각도 측정에 대한 비용함수, 각도에 대한 선형 회귀 그래프의 기울기, 각도에 대해 모든 (x,y,ϕ) 조건에서의 기울기에 대한 분산, 각도에 대한 선형 회귀와 실제 값의 벌림 각도; 굽힘 각도, 항에 대한 가중치.
측정하고자 하는 관절에 대한 민감도를 최대화하는 것이 가장 중요한 목적이었기 때문에 첫번째 항에 대한 가중치 를 상대적으로 크게 설정하여 최적화 값을 구하였다. 최적화를 통해 구한 센서 위치에 대해 CMC 관절 각도에 따른 센서 신호의 대표적 결과는 Fig. 7에서 보는 것과 같다 (굽힘 각도 센서의 최적 위치에 대한 결과). 관계 그래프를 통해 CMC 굽힘 각도에 대해 뚜렷하게 센서 신호가 감소하는 선형적 경향을 보이는 반면, CMC 벌림 각도에 대해서는 선형적 관계가 뚜렷하게 나타나지 않는 것을 알 수 있다.
CMC 관절의 굽힘 각도 센서의 최적 위치는 손의 외형적 특성과 관계없이 비슷한 위치를 보였다 (Fig. 8, 빨강). CMC 관절 굽힘 각도 센서는 손허리뼈의 손목과 가까운 지점에서 시작하여 엄지 CMC 관절을 향하는 방향으로 최적 위치가 형성되었다. CMC 관절 벌림 각도의 경우 손의 외형적 특성에 따라 두 가지의 대표적인 최적 위치를 형성하였다. 엄지의 손허리뼈와 검지의 손허리뼈 중간에 위치한 adductor pollicis 근육이 발달한 피험자의 경우 (7명), 손등 중간에서 시작하여 adductor pollicis를 가로지르는 방향에 최적 위치가 형성되었으며 (Fig. 8, 진한 파랑), 근육이 발달하지 않은 마른 손의 경우 (3명) 중지와 검지의 손허리뼈를 가로지르는 방향에 최적 위치가 형성되었다 (Fig. 8, 연한 파랑).
손 표면 변형 분석을 통해 구한 최적 센서 위치에 대한 CMC 관절 각도 추정 정확도를 평가하기 위해 굽힘 센서가 내부에 배치된 센서 장갑을 제작하였다 (Fig. 9). CMC 관절 각도 센서는 센서 신호 시뮬레이션을 통해서 구한 하나의 굽힘 각도 센서 위치와 두개의 벌림 각도 센서 위치에 배치되었다. CMC 관절 각도의 참값은 동작 분석 카메라를 통해 측정한 반사 마커의 3차원 위치 데이터를 통해 계산되었으며 반사 마커의 위치는 Fig. 9(b)와 같고 Fig. 2에서 보인 CMC 관절 각도 정의에 따라 각도를 구하였다. 4명의 피험자는 제작된 센서 장갑을 착용하고 엄지의 굽힘/폄과 벌림/모음 동작을 포함하며 엄지 끝으로 원을 그리는 동작인 엄지 휘돌림(circumduction) 동작을 수행하였다.
다른 움직임과의 crosstalk가 적은 CMC 관절 벌림 각도 센서의 위치는 1명은 Fig. 9(a)의 1번, 3명은 2번 위치에 형성되었다. CMC 관절 각도의 참값과 센서를 통해 추정한 관절 각도의 RMSE는 굽힘 각도와 벌림 각도 각각에 대해 2.8º와 1.9º였다.
굽힘 센서를 활용하여 손 자세를 측정하는 장치로는 VPL glove[1]가 있으며 이는 광학식 굽힘 센서를 사용했다 (Fig. 10(a)). 이 장치의 경우 엄지의 각도를 두 개의 센서를 활용하여 측정하였으며, 엄지 벌림 각도와 엄지 굽힘 각도를 구분 지어서 측정하지 않았다. 전체적인 엄지 관절 각도 측정 오차는 11º±9º (평균±표준편차) 수준이다.
굽힘 센서를 통해 손 자세를 측정하는 가장 대표적인 제품은 Cyberglove®로[2] 엄지 측정을 위한 관절 각도 센서가 Fig. 10(a)와 같이 배치 되어있다. 엄지 벌림 각도 센서는 엄지와 검지의 손허리뼈 사이에 굽힘 센서를 세워서 배치되었으며(Fig. 10(b), 3번 위치), 엄지 굽힘 각도 센서는 검지 손허리뼈와 손목이 만나는 부분에서 시작하여 엄지의 손허리뼈를 지나는 방향으로 배치되었다(Fig. 10(b), 0번 위치). 각 관절 각도의 측정 오차는 벌림 각도의 경우 11.7º±12.4º이고 굽힘 각도의 경우 23º±6.7º이다.
독일 Wuerzburg 대학에서는 Cyberglove와 달리 손 등쪽으로 센서를 배치하지 않고, 엄지와 검지의 측면을 따라서 센서를 배치하여 엄지의 벌림 각도를 측정하였다[3] (Fig. 10(c)). 이 장갑의 경우 엄지 CMC 관절의 굽힘 각도를 측정하는 센서는 가지고 있지 않았다. 특정 자세를 취했을 때 엄지의 벌림 각도의 측정 오차는 3.65º 수준으로 나타났다.
서로 다른 손 자세 측정 장치 연구에서[1-4] 엄지 CMC 관절 각도에 대한 정의가 서로 상이하기 때문에 엄밀한 성능 비교가 어렵다는 것을 알 수 있다. 예를 들어 Cyberglove는 Fig. 2의 rolling 각도를 굽힘 각도 대신 정의하고 측정한다[2]. 더 체계적인 엄지 동작의 분석 및 측정 정확도의 개선을 위해서는 손 자세 측정 장치에 적합하며 임상적으로도 유의미한 엄지 CMC 관절 각도 정의에 대한 표준화가 필요하다.
3차원 스캐닝을 활용해 획득한 손 표면 굴곡의 분석을 통해 2-자유도의 CMC 관절 각도 측정을 위한 굽힘 센서의 최적 센서 위치를 구할 수 있었으며, 굽힘 각도와 벌림 각도의 측정 정확도를 다른 위치에 센서를 배치한 기존의 장치에 비해 향상시킬 수 있었다. 본문에서 제시한 굴곡 분석 방법은 굽힘 센서를 활용했을 때만 아니라 표면의 변형을 측정하는 스트레처블 센서와 같은 다른 유연한 센서의 최적 위치를 찾는데 활용될 수 있다.
본문의 손 표면 분석 방법을 통해 다른 움직임에 의한 crosstalk가 적은 최적 위치를 구할 수 있었지만, 손 표면 변형을 통해 간접적으로 관절 각도를 추정하기 때문에 완전하게 단일 자유도의 움직임만을 측정할 수는 없었다. 측정 정확도를 더 개선하기 위해서는 CMC 굽힘 각도 센서와 벌림 각도 센서의 값을 모두 활용하여 CMC 각도를 추정하는 보정 방법에 대한 추가적인 연구가 필요하며, 보정을 위한 각도와 센서 신호 사이의 복잡한 관계는 최근 연구가 활발한 다양한 기계학습 기법의 적용을 통해 모델링 가능할 것으로 기대된다.
정확한 손 자세의 측정이 가능한 웨어러블 장치는 의료 분야에서 손의 운동기능에 대한 더 정확한 평가를 제공할 뿐만 아니라 운동 재활 시 더 다양하고 능숙한 손 동작을 훈련 가능하다. 또한 가상현실 게임의 입력장치로 활용하여 더 현실감 있는 손 동작을 구현 가능하게 하여 시뮬레이터로써 일상 혹은 특수한 작업 환경에서의 다양한 동작을 훈련하는데 활용될 수 있을 것으로 기대된다.
참고 문헌
[1] Quam, D.L.; Williams, G.B.; Agnew, J.R.; Browne, P.C. An experimental determination of human hand accuracy with a DataGlove. Proc. Hum. Factors Ergon. Soc. Ann. Meet. 1989, 33, 315–319.
[2] Kessler, G.D.; Hodges, L.F.; Walker, N. Evaluation of the CyberGlove as a whole-hand input device. ACM Trans. Comput. Hum. Interact. 1995, 2, 263–283.
[3] Gentner, R.; Classen, J. Development and evaluation of a low-cost sensor glove for assessment of human finger movements in neurophysiological settings. J. Neurosci. Methods, 2009, 178, 138-147.
[4] Kim, D. H.; Lee, S. W.; Park, H. S. Improving kinematic accuracy of soft wearable data gloves by optimizing sensor locations. Sensors, 2016, 16, 766.
|