MERRIC인
조회수 8798 좋아요 12 댓글 11
딥러닝을 이용한 신경회로의 초정밀 3차원 재구성
이기석(Kisuk Lee)(MIT Brain & Cognitive Sciences Department) / kisuklee at mit.edu /

1. 본인의 연구에 대해서 소개를 부탁 드립니다.

저는 뇌와 컴퓨터를 함께 공부하고 있습니다. 뇌의 측면에서는 이른바 “커넥토믹스”(connectomics) 또는 계산신경해부학(computational neuroanatomy)을, 컴퓨터의 측면에서는 최근 전세계적인 화두가 되고 있는 딥러닝(deep learning)을 연구하고 있습니다.

커넥토믹스란 뇌 신경망 연결지도, 이른바 “커넥톰”(connectome)을 작성하고 이를 분석하여 신경회로의 구성 및 작동 원리를 이해하고자 하는 새로운 뇌과학 분야입니다. 단 1mm3 크기의 포유류 대뇌피질 조직샘플에는 약 5만 개의 뉴런(신경세포)과 3억 개의 시냅스(뉴런간의 연결)가 빽빽하게 들어차있는 것으로 추정되고 있습니다. 현재 커넥토믹스의 당면 목표는, 1mm3 크기의 포유류 대뇌피질 조직샘플 안에 담긴 신경회로를 개별 시냅스 수준에서 3차원적으로 완전히 재구성하는 것입니다. 이를 위해 초고속 3차원 전자현미경(high-throughput 3D electron microscopy) 기술을 이용해서 뇌조직의 3차원 이미지를 나노미터 해상도로 촬영하고, 3차원 이미지 안의 개별 뉴런을 모두 구획하여 신경회로를 3차원으로 재구성하게 됩니다. 하지만 페타바이트(1015 바이트) 스케일의 엄청난 이미지 데이터를 사람이 일일이 분석하여 신경회로를 재구성하는 것은 현실적으로 불가능하고, 따라서 커넥토믹스의 성패는 이미지 분석을 자동화시키기 위한 인공지능 기술에 달려있습니다. 다시 말해 커넥토믹스는 인공지능의 도움 없이는 애당초 존재할 수 없었던 분야이고, 최근 딥러닝의 폭발적인 성장세에 힘입어 그 가능성을 현실로 만들어나가며 자신의 존재가치를 입증하기 위해 고군분투하고 있는 분야입니다.

커넥토믹스의 핵심인 자동적 이미지 분석에 딥러닝이 광범위하게 적용되고 있습니다. 저는 현재 3차원 컨볼루션 신경망(3D convolutional network) 모델을 3차원 전자현미경 이미지에 적용하여 뉴런 사이의 경계(boundary)를 획정하는, 이른바 neuronal boundary detection 문제를 연구하고 있습니다. 커넥토믹스에는 이 외에도 다른 여러 컴퓨터비전(computer vision) 문제들이 존재하는데, 예컨대 시냅스를 탐지하는 synapse detection 문제, 뉴런의 수상돌기(dendrite) 및 축삭(axon), 신경교세포(glia) 등 뇌조직에 존재하는 여러 조직 부류를 탐지하는 semantic segmentation 문제, 그리고 앞선 컴퓨터비전 알고리즘들의 실수로 인해 조각난 뉴런들을 다시 한데로 엮어 완성시키는 supervoxel agglomeration 문제 등이 대표적입니다. 저희 연구실에서는 현재 이러한 모든 커넥토믹스-컴퓨터비전 문제에 딥러닝을 적용시키는 연구를 활발히 진행하고 있습니다.

 




[Movie 1: Sebastian’s TED Talk] (https://www.youtube.com/watch?v=HA7GwKXfJB0)



2. 본인의 최근, or 대표 논문을 소개해 주세요.

[1] Kisuk Lee, Aleksandar Zlateski, Ashwin Vishwanathan and H. Sebastian Seung, Recursive Training of 2D-3D Convolutional Networks for Neuronal Boundary Prediction, NIPS 2015.
(https://papers.nips.cc/paper/5636-recursive-training-of-2d-3d-convolutional-networks-for-neuronal-boundary-prediction)


[2] Aleksandar Zlateski, Kisuk Lee and H. Sebastian Seung. ZNN – A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines. IPDPS 2016.
(http://arxiv.org/abs/1510.06706)


[3] Aleksandar Zlateski, Kisuk Lee and H. Sebastian Seung. ZNNi – Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs. SC16.
(http://arxiv.org/abs/1606.05688)



3. 연구중에 어떤 극복해야 할 문제가 있었고 이를 어떻게 해결하셨는지?

제가 겪었던 문제는 크게 두 가지였습니다. 우선 첫 논문 출판에 대한 부담감, 둘째로 공동연구 및 연구자간 교류의 부재였습니다.

저는 유학 전에 서울대학교 컴퓨터공학부 장병탁 교수님의 연구실에서 학부생 인턴으로 일하며 소규모 연구 경험을 쌓았지만, 국제 학회 및 저널 논문이 전무한 상태로 유학길에 올랐습니다. 이런 상황에서 언어도 문화도 익숙치 않은 미국에서 처음으로 제대로 된 연구를 시작하다 보니 수많은 어려움을 겪었습니다. 특히 박사과정 초반에는 제가 연구하고 있던 딥러닝 기술 그 자체보다는 실제로 작동하는 이미지 분석 시스템을 하루빨리 구축하는 것이 보다 중요했던 상황이었고, 여기에서 기인한 어려움이 컸습니다. 새로운 아이디어를 빠르게 구현하고 실험, 분석을 거쳐 논문을 내는 일반적인 딥러닝 연구 프로세스와는 달리, 당시 저희 연구실에서는 커넥토믹스에서 요구하는 매우 높은 수준의 정확도(accuracy)와 처리량(Throughput)을 동시에 만족시키는 기술 개발이 논문 출판에 우선하는 목표였습니다. 예를 들어 기존 기술에 비해 5% 가량의 정확도 향상을 이끌어냈다고 할지라도, 그것이 커넥토믹스에서 요구하는 수준에 미치지 못할 경우 큰 의미를 두기 어려웠습니다. 하루 빨리 첫 논문을 쓰고 싶어하던 저는 이런 연구실 분위기 속에서 조바심을 낼 수밖에 없었고, 그로 인한 정신적 고통이 적지 않았습니다. 다행히 지도교수님께서 이런 점을 인지하셨는지, 제 연구 결과가 아직은 목표치를 달성하지 못했지만 충분히 보고할 만한 가치가 있다고 판단하셔서 첫 논문을 쓰게 되었습니다. 이러한 우여곡절 끝에 논문이 국제 학회에 출판되면서 심리적 불안감을 떨치게 되었고, 안정감과 자신감을 되찾을 수 있었습니다.

두 번째로는 연구 자체의 문제라기보단 연구 외적인 문제가 있었는데, 바로 지도교수님께서 2014년 초에 학교를 MIT에서 프린스턴 대학교로 옮기게 된 것입니다. 당시 박사과정 2년차였던 저는 학과에서 요구하는 졸업 필수요건을 모두 충족시킬 때까지 MIT에 혼자 남아있을 수밖에 없었고, 연구실 동료들과의 교류가 완전히 단절된 상태로 일 년 이상을 홀로 연구할 수밖에 없었습니다. 이러한 과도기적 상황에 설상가상으로 당시 저희 연구실에는 딥러닝을 연구하는 동료가 한 명도 없었습니다. 이로 인해서 공동연구 및 연구자간 교류의 부재가 상당히 심각했고, 혼자서 연구를 진행하는 데 있어 한계에 부딪힐 수밖에 없었습니다. 이 문제는 제가 2015년 가을부터 프린스턴에서 방문연구를 시작하면서 자연스럽게 해결되었습니다. 이후 저는 연구실 동료들과의 풍성한 교류를 만끽하며, 딥러닝을 연구하고자 연구실에 새로이 합류한 여러 동료들과 활발하게 공동연구를 진행하고 있습니다.




4. 연구를 진행했던 소속기관 또는 연구소, 지도교수에 대해 소개 부탁 드립니다.

제가 속한 MIT 뇌인지과학과(Brain and Cognitive Sciences Department, BCS)는 세계적으로 손꼽히는 뇌과학 및 인지과학 연구소입니다. 뇌과학은 나노미터(10-9m)부터 수십 미터(10m)에 이르기까지 다양한 수준에서 나타나는 현상을 다루는 다채로운 연구들의 총체입니다. 분자 및 세포 수준, 개별 시냅스 및 뉴런 수준, 신경회로 및 거시적 뇌영역 수준, 인지 및 행동 수준, 그리고 각 수준에서 일어나는 현상들의 수학적 모델링에 이르기까지 다양한 수준에서의 연구가 서로 자유롭게 소통하고 긴밀하게 협력하는 것이 그만큼 중요합니다. 이를 반영하여 MIT 뇌인지과학과에는 네 개의 세부전공(cognitive, cellular & molecular, systems, and computation)을 두어서 개별 세부전공의 전문성과 세부전공 간의 융합을 동시에 추구하고 있습니다. 저는 그중 computation track에 속해있지만 연구실 로테이션과 교과목 수강을 통해서, 또 서로 다른 분야의 연구자들과 상시적으로 교류하면서 뇌과학에 대한 융합적 관점을 형성해가고 있습니다.

MIT 뇌인지학과 건물은 단일 규모로 세계에서 가장 큰 뇌과학 연구소로서(2005년 기준), 맞은 편에 위치한 MIT Stata Center와 함께 캠퍼스 안에서도 가장 현대적인 분위기를 형성하고 있습니다. 특히 MIT 전기컴퓨터공학부 건물인 Stata Center에는 인공지능의 산실인 MIT CSAIL (Computer Science and Artificial Intelligence Laboratory, 컴퓨터과학 및 인공지능 연구실)이 들어서 있어서 인공지능과 뇌과학 사이의 학제간 연구가 활발하게 일어나고 있습니다.


저의 지도교수인 Sebastian Seung 교수님은 한국계 미국인으로서, 한국과도 인연이 깊은 분입니다. 그는 세계적으로 유명한 2010년 TED 강연, 그리고 커넥토믹스의 비전을 담은 그의 첫 저서 “커넥톰, 뇌의 지도” (김영사, 2014) 등으로 한국에도 꽤 알려져 있습니다. 또한 그는 과거 Bell Lab에서 연구하던 시절, (당시 그의 박사후 연구원이었던) 세계적인 로봇공학자 Daniel D. Lee 펜실베니아대 교수님과 함께 “Non-negative Matrix Factorization (NMF)”이라는 알고리즘을 고안하고 이를 인공신경망으로 구현하여 뇌과학적 함의를 이끌어낸 공로를 인정받아 2008년에 호암상 공학부문을 수상하기도 했습니다.





이론물리학으로 박사를 받은 이후 이론신경과학(theoretical neuroscience)으로 한번 전향했던 그는, 이론신경과학자로서의 탄탄한 입지를 반납하고 또다시 커넥토믹스라는 새로운 분야를 개척해나가고 있습니다.


5. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

인공지능과 뇌과학, 양쪽 모두 한 우물만 파도 모자랄 정도로 깊이 있는 학문이지만, 저는 두 마리 토끼를 동시에 쫓고 있습니다. 두 분야 어느 하나에서도 전문가가 되지 못할지도 모른다는 불안감과 싸우며 분투하는 게 일상이 돼버렸지만, 자부심과 보람도 있습니다.

저의 첫 1저자 논문은 딥러닝 기술을 커넥토믹스 문제에 적용시킨 하나의 사례를 다루지만, 뇌과학적 해석을 곁들였습니다. 학술적으로 매우 중요한 가치를 지니는 해석은 아니라고 생각하지만, 딥러닝 기술과 뇌과학적 해석 사이의 느슨한 연결고리를 걸었다는 점에서 나쁘지 않은 출발이었다고 자평합니다.

첫 논문이 채택된 이후에 그 내용으로 학과에서 내부 강연을 할 기회가 있었습니다. 유창하지 못한 영어에도 나름 열심히 강연을 마쳤는데, 동양인으로 보이는 한 청중이 제게 인사를 하러 왔습니다. 그가 자기소개를 하는데 알고 보니 제 논문에 곁들인 뇌과학적 해석의 기반이 되는 실험 논문을 쓴 중국인 연구자였습니다. 정말 우연하게도 그는 몇 주 정도 MIT 뇌인지과학과의 한 실험실에 방문하고 있었습니다. 저도 당시에 이미 프린스턴으로 옮긴 뒤였고 강연을 위해 잠시 제 학과에 방문했던 터라, 뜻밖의 우연에 놀라지 않을 수 없었습니다. 그는 자신의 연구를 실험뇌과학 밖에서 멋지게 인용해줘서 고맙다고 했고, 또 저의 인공신경망 모델이 나타내는 것과 유사한 현상을 자신도 최근에 행한 시뮬레이션에서 관찰했다는 말을 들려줬습니다. 딥러닝에서 사용되는 인공신경망 모델과 계산신경과학(computational neuroscience)에서 사용하는 인공신경망 모델에는 상당한 차이가 있기에, 둘 사이에 공통된 현상을 관찰한 것은 흥미로운 결과였습니다. 아직까지 저는 딥러닝 연구에 좀 더 치우쳐있지만, 제가 곁들인 뇌과학적 해석으로 인해 이렇게 실험뇌과학자와 기분 좋은 교류를 할 수 있었던 것에 작은 감동을 느꼈습니다.

2015년 여름에 캐나다 몬트리올 대학에서 열렸던 Deep Learning Summer School에 참석했었는데, 뇌과학에 친숙하지 않은 수많은 인공지능 연구자들과 대화할 기회가 있었습니다. 같은 딥러닝 연구자로서 그들과 이야기가 통했다는 점에, 또 그들에게 딥러닝과 뇌과학의 융합에 대해 들려줄 수 있었다는 점에 보람을 느꼈습니다. 또한 평소에는 저명한 뇌과학자의 강연을 들으며 그 내용을 이해할 수 있고, 또 깊이는 없을지언정 피상적이나마 질문을 던질 수 있다는 점에 뿌듯함을 느낍니다. 지금은 이렇듯 소소한 자기만족에 지나지 않을지라도, 두 분야의 언어를 모두 이해하고 통역해 줄 연구자가 반드시 필요하며 향후 중요한 역할을 할 수 있을 거라고 믿습니다.


6. 이 분야로 진학하려는 후배(또는 유학 준비생)에게 도움이 되는 말씀을 해 주신다면?

기초적인 수학적 배경 지식을 탄탄히 다져놓으라는 조언을 하고 싶습니다. 수학은 과학의 언어이고, 과학의 언어에 능통하지 않으면 깊이 있는 연구를 행하기 어렵다고 생각합니다. 개인적으로는 학부 때 수학에 대한 막연한 두려움을 떨치지 못했고 또한 그 중요성과 필요성을 인식하지 못하는 바람에 깊이 있는 수학 공부를 하지 못한 점을 가장 아쉽게 생각합니다. 뇌에서 일어나는 모든 활동은 신경동역학적 계산(neuro-dynamical computation)에 다름 아니고, 인공지능 역시 이러한 계산과정을 수학의 언어로 근사(혹은 재창조)한 것입니다. 수학의 언어 없이는 계산을 말할 수 없고, 계산적 토대(computational foundation) 없이는 그 어떤 지능(생명체의 그것이건 인공지능이건)도 설명할 수 없습니다.


7. 연구활동과 관련된 앞으로의 계획이 있으시다면?

현재는 주로 Feedforward Convolutional Network 모델만을 다루며 Neuronal Boundary Detection 문제에 집중하고 있으나, 향후 Feedback Recurrent Convolutional Network, LSTM (Long Short-Term Memory) Network 및 GAN (Generative Adversarial Network) 등 보다 다양한 딥러닝 모델들을 연구하고 이를 커넥토믹스의 다양한 문제들에 적용할 계획입니다. 이와 함께 실제 커넥톰 데이터를 분석하는 프로젝트를 병행할 예정인데, 이를 통해 계산신경해부학(Computational Neuroanatomy) 연구에 집중적으로 매진할 계획입니다. 이를 바탕으로 추후 뇌과학과 인공지능을 잇는 다리 역할을 할 수 있는 학제간 연구를 계속 진행하고 싶습니다.


8. 본인이 영향을 받은 다른 연구자나 논문이 있다면?

현재 제 지도교수인 Sebastian Seung 교수님의 영향을 가장 크게 받았습니다. 저를 지금 이 자리로 이끈 것은 그의 논문 두 편이었습니다. 먼저 Seung 교수님의 2009년 논문 “Reading the Book of Memory: Sparse Sampling versus Dense Mapping of Connectomes.” Neuron 62, 17-29 (2009)을 통해 처음으로 커넥토믹스의 개념을 접했습니다. 당시 저는 조제프 르두(Joseph LeDoux) 뉴욕대 교수의 저서 “시냅스와 자아” (동녘사이언스, 2005)를 읽고 인간의 자아를 구성하는 행동, 기억, 감정 동기 등의 모든 요소가 뉴런과 뉴런 사이의 연결인 시냅스에 담겨 있다는, 다소 급진적인 이론에 매료돼있었습니다. 그러던 와중에 접한 Seung 교수님의 2009년 논문에서는 뇌조직 샘플 안의 모든 뉴런을 나노미터 수준에서 3차원으로 재구성함으로써 신경회로의 구조 및 연결정보를 해독할 수 있고, 이를 분석해서 기존에 알려진 기능정보와 결합하면 뇌과학의 많은 가설들을 검증할 수 있을뿐더러 더 나아가 신경회로에 저장된 기억 정보를 읽어낼 수 있을 것이라고 대담하게 예측합니다. 이 논문에서 주장하는 바는 제게 너무나 매력적으로 다가왔지만, 제가 반드시 Seung 교수님 밑에서 공부하겠다는 결심을 하게 해준 논문은 바로 그 다음 해에 출판된 “Machines that learn to segment images: a crucial technology for connectomics.” Curr. Opin. Neurobiol. 20, 653-66 (2010)이었습니다. 이 논문에서는 2009년 논문에서 예측한 바를 가능케하는 기술적 성취를 다루었는데, 바로 convolutional network를 이용해서 전자현미경 뇌조직 이미지를 분석하여 신경회로를 3차원으로 재구성하는 기술에 대해 리뷰하고 있습니다. Seung 교수님은 이론신경과학 뿐만 아니라 인공신경망에도 정통한 전문가로서, 딥러닝이 태동하던 무렵인 2007부터 3D convolutional network를 커넥토믹스에 적용시키는 선구적인 연구를 진행해왔습니다. 인공신경망, 즉 뇌를 닮은 인공지능을 적용하여 뇌조직 이미지를 분석하고, 또 그로부터 신경회로의 구성 및 작동 원리를 더 깊게 이해하며, 그렇게 정제된 지식을 다시 인공신경망에 적용시켜 인공지능 기술의 발전을 도모하는 선순환 구조. 이는 뇌과학과 인공지능을 함께 추구하고자 했던 제 막연한 이상이 구체적으로 실현된 장면이었고, 저는 주저 없이 Seung 교수님의 연구실을 제 유학의 목표로 삼았습니다.  

 

인쇄 Facebook Twitter 스크랩

전체댓글 11

[로그인]

사용자 프로필 이미지
|2018.11.20
딥러닝과 뇌과학을 동시에 연구해나가시는게 대단한 것 같습니다. 나중에 좀 더 전공 지식을 배운 후, 다시 읽어볼 가치가 있는 글이네요. 감사합니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2017.12.20
좋은정보공유 감사합니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2017.02.20
어려운 분야라 향후에 조금 더 설명을 보완 해주시면 감사하겠습니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.12.22
뇌를 모방한 인공지능, 딥러닝... 그걸로 다시 뇌를 연구하는군요... 관심이 많이 갑니다. 좋은 성과 있길바랍니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.12.15
김영사에서 출간한 서적 본 적이 있습니다. 가장 어렵다는 뇌에 관하여 공학과 접목시키고 계신 자리가 아주 빛이 납니다...^^

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.12.14
좋은 글 감사합니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.12.14
좋은 자료가 많아 좋습니다 자주 들어 오겠습니다

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.09.01
뇌과학에 대한 관심이 많습니다. 특히 발과 발가락이 뇌와 관련하여 기능적으로 움직이는 부분에 대한 관심이 건강제품을 개발하고 시판중에 있습니다. 계속해서 진행되는 연구를 직접 인체의 건강에 관련하여 제품화된 것들의 증빙화에 많은 도움이 되겠습니다.계속해서 관심있게 보고싶습니다.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.08.31
정말 연구하고 싶었던 분야였는데, 어쩌다보니 지금은 다른 산업현장에 와있네요. 응원합니다. 훌륭한 책들과 논문들 추천해주셔서 감사합니다. 관심 가지고 지켜볼게요.

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.08.30
공감합니다. 덕분에 커넥토믹스라는 생소한 분야를 알게 되었습니다. 인터뷰이께서 어려운 분야를 연구하고 계시군요

댓글 입력란
프로필 이미지
0/500자
사용자 프로필 이미지
|2016.08.24
새로운 단어를 알고 가네요.. 커넥톰 [connectome] . 뇌과학과 인공지능이라...매우 어려우면서 흥미로운 주제인거 같습니다. 인간이 미처 보지 못한 분야는 너무나 많고 무궁무진하고 서로서로 자극이 되는 거 같습니다. 기계공학 연구자분들에게도 많은 자극이 되었으면 합니다.

댓글 입력란
프로필 이미지
0/500자
댓글 입력란
프로필 이미지
0/500자