1. 서론
최근 생체모사(bio-inspired) 이미징 기술과 뉴로모픽(neuromorphic) 데이터 처리 기술을 통합한 인공시각 시스템이 소형화된 카메라 모듈을 활용하여 고품질의 이미지 데이터를 수집하고, 얻어진 많은 양의 데이터를 효율적으로 처리할 수 있어 각광을 받고 있다[1]. 특히, 실시간으로 동작되어 높은 효율성이 요구되는 머신 비전 시스템에 적용될 수 있고, 이로 인해 첨단 모바일 디바이스(예: 드론 및 로봇)를 비롯한 수많은 분야에서 많은 관심을 받고 있다[2]. 이러한 모바일 디바이스의 핵심 요구 사항은 높은 이동성(mobility)(즉, 작은 크기와 경량)이며, 이는 인공 비전 시스템을 구성하는 요소들의 소형화 혹은 통합을 통해 달성할 수 있다[3]. 그러나 기존의 카메라는 평평한 CMOS(complementary metal-oxide semiconductor) 이미지 센서를 사용하기 때문에 복잡하고 큰 다중 렌즈 광학(multi-lens optics)가 필요하고, 이는 카메라 모듈의 크기 및 무게를 증가시킨다[4]. 또한 카메라 모듈과 물리적으로 분리된 데이터 처리 프로세서는 방대한 양의 이미지 데이터를 저장, 전송 및 처리하기 위해 많은 전력과 시간을 소비한다. 이러한 대규모 전력 소비는 에너지 저장 장치의 부피와 무게를 증가시켜 전체 시스템의 이동성을 저하로 이어진다.
효율적으로 이미지를 획득하고 인식하는 자연계의 시각 시스템과 신경망 구조는 기존 카메라 및 데이터 처리 시스템의 한계를 해결하기 위한 인공 시각 시스템의 개발에 영감을 준다[5]. 단일 렌즈에 의해 생성된 곡면 초점면과 구조적으로 일치하는 반구형 망막을 가지는 사람의 눈은 단순하고 소형화된 단일 렌즈 광학계로 수차 없는 이미징을 수행할 카메라 개발로 이어질 수 있다[6]. 또한, 망막에서 이미지 데이터 전처리를 수행하고, 전처리된 신호를 시각 피질로 전달하는 시각 인식 시스템은 이미지 센서에 이미지 데이터 수집뿐만 아니라 데이터 전처리도 동시에 수행하는 센서내 이미지 전처리(in-sensor image processing) 기능을 가능케하여 머신 비전의 효율성을 향상시킬 수 있다[7]. 특히 시냅스 가소성(synaptic-plasticity)을 모사한 광특성을 활용하여 입력 신호의 배경 잡음에 제거하고 대비(contrast)를 향상시킨 이미지 수집을 가능하게 한다[8].
본 기고문에서는 자연 시각 시스템과 신경망의 구조적, 기능적 특징을 모방하여 개발된 생체모사 카메라과 시냅스성 이미지 센서의 최근 동향을 논의한다. 먼저 생체모사 카메라의 핵심 요소인 곡면 이미지 센서(curved image sensor array, CurvIS array) 개발을 활용되는 유연하고(flexible) 신축성(stretchable) 있는 광검출 소자(photodetector) 제작 전략을 살펴본다. 다음으로는 곡면 이미지 센서를 생체모사 광학계와 통합시켜 개발한 생체모사 카메라를 독특한 이미징 특성(예: 초점 조정, 광시야각, 깊은 심도)과 함께 다룬다. 마지막으로 획득한 이미지 데이터가 효율적이고 정확하게 인식될 수 있도록 가공하는 센서내 전처리 기술과 이를 수행하기 위해 개발된 시냅스성 이미지 센서에 대해 설명한다.
2. 곡면 이미지 센서 개발 전략
기존의 상용화된 카메라는 평평한 CMOS 이미지 센서와 일치하는 평면형 초점면을 형성하기 위하여 여러 개의 렌즈로 구성된 광학계를 사용한다. 이러한 광학계를 간소화하기 위해서는 단일 렌즈가 만드는 곡면 형태의 초점면과 일치하는 곡면형의 이미지 센서가 필요한데, 이는 기존의 딱딱한 CMOS 이미지 센서로는 구현되기 힘들다. 곡면 이미지 센서 개발 과정에서 가장 중요한 것은 어레이의 핵심 요소인 반도체 소자 (예: 실리콘)가 변형 시 받는 기계적 영향을 최소 화 하는 것이다. 많은 연구들을 통해 곡면 이미지 센서를 제작하기 위해 전략들이 시도되었으며, 주로 기계적 구조를 도입하거나 유연한 물질을 활용하는 방식들이 많은 관심을 받고 있다.
초기의 곡면 이미지 센서는 실리콘 기반의 픽셀을 섬 형태로 패터닝하고, 각 픽셀을 잇는 연결 부위를 유연한 금속/고분자 재료로 구성하는 아일랜드-브릿지(island-bridge) 구조의 기계적 디자인이 활용되었다. 대표 적으로 2가지 방식의 아일랜드-브리지 구조가 많이 활용된다. 팝업(pop-up) 형태의 구조는 얇고 유연한 금속 상호연결이 소자가 압축될 때 구부러져 올라오며 각 픽셀에 유도되는 변형을 효과적으로 상쇄한다[9]. 하지만 팝업 구조가 3차원적인 공간을 요구하기 때문에, 최근에는 서펜틴(serpentine) 형태의 전극 구조가 곡면 이미지 센서 개발에 많이 활용되고 있다(Fig. 1(a))[10]. 각 픽셀 간의 금속 연결 부위를 2차원의 구불구불한 모양으로 설계함으로써, 웨이퍼 위에서 3차원 곡면 위로의 소자 전사 과정에서 발생하는 스트레인을 효과적으로 분산시켜준다. 이를 통해 기계적 파손 없이 3차원의 굴곡 이미지 센서를 개발할 수 있다(Fig. 1(a)).
딱딱하고 쉽게 깨지는 실리콘 대신, 본질적으로 유연한 기계적 특성을 보이는 2차원 재료를(예: MoS2, 그래핀) 활용하면 고밀도의 곡면 이미지 센서 어레이를 개발할 수 있다(Fig. 1(b))[11]. 앞서 설명한 아일랜드-브릿지 구조는 기계적으로 변형 불가능한 재료에 기계적 유연성을 부여할 수 있다는 장점이 있지만, 변형을 분산시키는 상호연결 부위가 많은 공간을 차지하여 이미지 센서의 핵심인 해상도를 높이는 데 한계가 있다. 이에 비해 2차원 재료인 MoS2와 그래핀의 이종접합 구조는 광학적, 전기적 특성이 우수하여 얇은 두께의 이미지센서를 제작하는 데 사용될 수 있다. 이미지 센서가 굴곡될 때 유도되는 변형률은 이미지 센서의 두께에 비례한다. 따라서 1 μm 미만의 매우 얇은 이미지 센서는 아일랜드-브릿지 구조 없이도 굴곡 이미지 센서를 제작하는데 활용될 수 있다. 심지어 고분자 보호층을 제외한 활성 소자의 두께는 51 nm로 매우 얇아, 활성 소자에 유도되는 변형은 매우 미미하다(Fig. 1(b)). 또한 2차원 재료는 실리콘(∼1%) 대비 높은 파단 변형률을(∼23%) 보이기 때문에 굴곡 이미지 센서를 개발하는데 더 유리하다. 이 외에도 최근에 양자점을 신축성 있는 반도체 소재와 섞은 나노복합체(nanocomposite)를 활용하여 굴곡 이미지 센서를 개발한 연구 또한 보고되고 있다[12].
3. 시각의 구조적 특징을 모사한 생체모사 카메라
생물체의 눈의 구조적 특징을 모사한 생체모사 카메라는 단일 렌즈에 의해 생성된 곡면 초점면과 일치하는 곡면 이미지 센서 구조 덕분에 광학 수차 없는 이미징을 수행할 수 있다. 따라서 본 부문에서는 곡면 이미지 센서에 기반한 생체모사 카메라의 구조와 특징적인 광학적 장점을 소개할 것이다.
생체모사 카메라의 가장 대표적인 예시로는 사람의 눈을 모사한 카메라가 있다(Fig. 2(a))[11,13]. 단일평철 렌즈(plano-convex lens)에 의해 생성되는 곡면 초점면과 완벽하게 일치하는 곡면 이미지센서를 활용함으로써 단일 렌즈 만으로 광학 수차를 제거할 수 있다. 이를 통해 기존의 복잡했던 다렌즈 시스템에서 단일 렌즈로 광학계의 구성을 간소화했으며, 이를 통해 카메라의 크기 및 무게를 낮출 수 있었다(Fig. 2(b)). 또한 곡면 이미지 센서를 활용하여 단일 렌즈 기반의 고품질 이미징을 성공적으로 수행하였다(Fig. 2(c)).
하지만 실제 이미징을 수행할 때 사물은 다양한 거리에 위치한다. 사람의 눈은 렌즈의 모양을 변화시킴으로써 서로 다른 거리에 위치하는 사물에 초점을 맞춘다[14]. 이러한 초점 조절 원리는 생체모사 카메라에도 적용될 수 있다. 최근, 전기적으로 모양이 변화되는 곡률 가변렌즈를 활용하여 초점거리를 조절하고, 자성에 형태가 반응하는 신축성 이미지 센서를 활용하여 초점 조절에 의해 변화된 곡면 초점면과 일치하도록 형상이 변할 수 있는 곡면 이미지 센서가 개발되었다[15].
보안 카메라 및 자율주행 시스템에서는 넓은 범위의 물체 및 사물을 관찰할 수 있는 광각 능력이 요구하다. 하지만 기존의 카메라는 좁은 시야각을 관찰할 수 있음에도 불구하고 4∼6개의 렌즈로 구성된 광학계가 필요하다. 심지어 광각 카메라는 8∼13개의 더 많고 크기가 큰 렌즈들이 필요하다. 이는 카메라 모듈의 부피와 무게를 크게 증가시켜 모바일 디바이스의 이동성을 크게 감소시킨다. 사람의 눈을 모사한 카메라 개발을 통해 단일 렌즈 기반 카메라가 개발되었지만, 상기 카메라의 시야각은 30도 정도로 제한된다.
수중생물(예: 물고기)은 물속의 전방향에서 다가오는 포식자를 관찰할 수 있도록 광각 능력이 특화되어 있다[16-17]. 물고기의 눈은 포물선 형태의 굴절률(refractive index)을 가지는 단일 구형 렌즈(single spherical monocentric lens)와 고감도의 시세포로 구성된 반구형 망막으로 이루어져 있다. 상기 구조의 대칭적인 광학계를 통해 단일 렌즈 만으로 최대 160°의 넓은 시야각을 관찰할 수 있다(Fig. 2(d))[18]. 최근 수중생물 눈의 구조적 특징들을 모사하여 단일렌즈만으로 광각을 수차 없이 관찰할 수 있는 소형 카메라가 개발되었다. 두 가지의 굴절률을 가진 렌즈를 결합하여 단심렌즈를 제작하였으며, 단심렌즈에 의해 형성되는 반구형 초점면과 일치하는 반구형 이미지 센서를 제작하였다(Fig. 2(e))[19]. 또한 상기 요소들을 통합하여 120°의 넓은 시야각을 우수한 품질로 이미징 할 수 있는 소형 광각 카메라를 개발하였다(Fig. 2(f)). 특히, 단순히 렌즈와 반구형 이미지 센서의 거리를 변화시킴으로써 초점 거리를 조절할 수 있어 초점 조절이 용이하며, 짧은 초점 거리로 인해 깊은 심도(depth-of-field)로 사물을 관찰할 수 있었다.
4. 시각의 기능적 특징을 모사한 시냅스성 카메라
기존의 이미징 및 데이터 처리 시스템은 카메라와 프로세서가 물리적으로 분리되어 있기 때문에, 상기 요소 간의 데이터 전송이 필요하다. 이는 많은 전력 소모 및 데이터 처리 시간 지연을 야기할 수 있다. 본 부문에서는 시각을 구성하는 시냅스 및 뉴런의 기능적 특징을 모사함으로써, 이미지 센서에서 데이터 수집뿐만 아니라 1차적인 전처리도 동시에 수행할 수 있는 시냅스성 카메라에 대해서 논의할 것이다.
인간의 시각은 망막의 시신경에서의 이미지 전처리를 수행함으로써 효율적으로 이미지를 인식할 수 있다. 이러한 이미지 전처리에 활용되는 핵심적인 특징은 시냅스 가소성이다. 최근 시냅스 가소성과 유사한 광반응을 구현하여 배경 잡음이 심한 이미지들로부터 별도의 데이터 처리 없이도 배경 잡음을 제거하고 대비가 향상된 이미지를 획득할 수 있는 시냅스성 이미지 센서가 개발되었다(Fig. 3(a))[20]. 개발된 시냅스성 이미지 센서는 광 입력의 반도에 따라 출력되는 광전류의 크기가 달라진다. 노이즈에 해당되는 간헐적인 광입력에 의해서는 낮은 크기의 광전류가 생성되고 금방 감퇴되는 반면(Fig. 3(b)), 중요한 신호에 해당되는 빈번한 광입력에 의해서는 광전류가 축적되어 지속적으로 증가한다(Fig. 3(c)). 이러한 특성은 각각 시냅스 가소성의 일종인 단기 가소성(short-term plasticity) 및 장기 상승작용(long-term potentiation)에 해당된다. 또한, 이러한 광에 의해 발생하는 시냅스 가소성(photon-triggered synaptic plasticity)을 활용하면 배경 잡음이 많은 광 입력으로부터 별도의 데이터 처리 없이도 잡음이 감소된 이미지를 얻어 낼 수 있다(Fig. 3(d)).
그러나 빛의 산란으로 인해 배경 노이즈가 심한 자외선 이미징에 있어서는 더 뛰어난 이미지 전처리 방식이 요구된다. 최근 뉴런의 발화특성(예: all-or-none potentiation)을 모사하여 배경 잡음을 완벽 하게 제거하며 이미징을 수행할 수 있는 생체모사 카메라가 개발되었다(Fig. 3(e))[21]. 시냅스후(post-synaptic) 뉴런의 발화는 시냅스후 전위의(post-synaptic potential) 합산 진폭에 따라 결정된다. 시간적, 공간적으로 합산된 시냅스후 전위가 임계 값에 도달하면 시냅스후 뉴런은 활동전위(action potential)를 발화한다. 만약, 시냅스후 전위가 임계 값을 넘지 못 하면 활동전위는 발화되지 않는다.
최근 시냅스성 이미지 센서에 임계-스위칭 특성을 보이는 양자점 발광소자(quantum dot light-emitting diode)를 전류-전압 증폭기(current-to-voltage amplifier)를 통해 전기적으로 연결하여 all-or-none potentiation과 유사한 광반응을 구현한 소자가 개발되었다(Fig. 3(e))[20]. 시냅스성 이미지 센서에 의해 1차적으로 배경 노이즈가 감소된 광전류가 얻어지고[21], 상기 광전류는 전류-전압 증폭기에 의해 전압으로 변환되어 양자점 발광소자의 양극에 가해진다. 이때 양자점 발광소자는 임계점 아래의 전압에 의해서는 작동하지 않고, 임계점 이상의 전압에 의해서만 기하급수적으로 증가하는 광전류를 생성한다. 이러한 특성은 all-or-none potentiation과 유사하여 signal-or-none on-device preprocessing이라고 명명되었다. 또한 signal-or-none on-device preprocessing을 활용하면 노이즈가 많은 환경에서 배경 잡음을 완벽하게 제거한 채로 이미징을 수행할 수 있다(Fig. 3(g)). 이는 기존의 시냅스성 이미지 센서에서 전처리 후에도 잔류 잡음이 남아있는 것과 차별화된다. 또한 배경 잡음이 완벽하게 제거된 이미지는 더 인공신경망 모델에 높은 정확도로 인식될 수 있어, 머신 비전의 정확도 및 효율성을 향상시킬 수 있다.
5. 결론 및 전망
지금까지 생물체의 눈 및 시각 인식 시스템에서 영감을 받은 생체모사 카메라 기술의 개발 현황을 논의했다. 반구형 망막에서 영감을 받은 곡면 이미지 센서 어레이는 생체모사 광학계와 결합되어 단일렌즈 기반의 광학 수차 없는 이미징을 가능하게 했다. 또한, 다양한 생물체의 눈을 모사하여 단일렌즈 만으로 초점 조절, 광각, 깊은 심도 등의 이미징 특성도 구현할 수 있었다. 이를 통해 카메라 모듈의 소형화 및 간소화 가능성 뿐만 아니라, 이미징 수행에 도움이 되는 다기능성 탑재 전략을 제시했다. 뿐만 아니라 시냅스 및 뉴런의 기능적 특징을 모사하여, 이미지 센서 내에서 이미지 수집 및 전처리를 동시에 수행하여 배경 잡음이 제거된 대비가 향상된 이미지를 획득할 수 있었다. 이미지 대비 향상뿐만 아니라, 엣지 검출 등과 같은 머신 비전의 효율적인 수행에 요구되는 이미지 처리 기능을 이미지 센서 내에서 수행할 수 있다면, 이미지 인식의 효율성을 획기적으로 향상 시킬 수 있을 것이다. 즉, 이러한 생체모사 카메라의 발전은 효율적인 이미징 및 데이터 처리 기술을 제공함으로써 모바일 디바이스의 발전에 이바지할 수 있다.
