시각의 구조적, 기능적 특징을 모사한 생체모사 카메라

초기의 곡면 이미지 센서는 실리콘 기반의 픽셀을 섬 형태로 패터닝하고, 각 픽셀을 잇는 연결 부위를 유연한 금속/고분자 재료로 구성하는 아일랜드-브릿지(island-bridge) 구조의 기계적 디자인이 활용되었다. 대표 적으로 2가지 방식의 아일랜드-브리지 구조가 많이 활용된다. 팝업(pop-up) 형태의 구조는 얇고 유연한 금속 상호연결이 소자가 압축될 때 구부러져 올라오며 각 픽셀에 유도되는 변형을 효과적으로 상쇄한다[9]. 하지만 팝업 구조가 3차원적인 공간을 요구하기 때문에, 최근에는 서펜틴(serpentine) 형태의 전극 구조가 곡면 이미지 센서 개발에 많이 활용되고 있다(Fig. 1(a))[10]. 각 픽셀 간의 금속 연결 부위를 2차원의 구불구불한 모양으로 설계함으로써, 웨이퍼 위에서 3차원 곡면 위로의 소자 전사 과정에서 발생하는 스트레인을 효과적으로 분산시켜준다. 이를 통해 기계적 파손 없이 3차원의 굴곡 이미지 센서를 개발할 수 있다(Fig. 1(a)).

Fig. 1. (a) Photograph of a Si image sensor array with serpentine interconnections. Inset shows the hemispherical image sensor array. Adapted with permission from [18]. Copyright 2020, NPG. (b) Schematic illustration of the image sensor array based on MoS₂-graphene heterostructure. Inset shows the cross-sectional transmission electron microscope image of the phototransistor based on MoS₂-graphene heterostructure Adapted with permission from [11]. Copyright 2017, NPG.

Download Original Figure

딱딱하고 쉽게 깨지는 실리콘 대신, 본질적으로 유연한 기계적 특성을 보이는 2차원 재료를(예: MoS₂, 그래핀) 활용하면 고밀도의 곡면 이미지 센서 어레이를 개발할 수 있다(Fig. 1(b))[11]. 앞서 설명한 아일랜드-브릿지 구조는 기계적으로 변형 불가능한 재료에 기계적 유연성을 부여할 수 있다는 장점이 있지만, 변형을 분산시키는 상호연결 부위가 많은 공간을 차지하여 이미지 센서의 핵심인 해상도를 높이는 데 한계가 있다. 이에 비해 2차원 재료인 MoS₂와 그래핀의 이종접합 구조는 광학적, 전기적 특성이 우수하여 얇은 두께의 이미지센서를 제작하는 데 사용될 수 있다. 이미지 센서가 굴곡될 때 유도되는 변형률은 이미지 센서의 두께에 비례한다. 따라서 1 μm 미만의 매우 얇은 이미지 센서는 아일랜드-브릿지 구조 없이도 굴곡 이미지 센서를 제작하는데 활용될 수 있다. 심지어 고분자 보호층을 제외한 활성 소자의 두께는 51 nm로 매우 얇아, 활성 소자에 유도되는 변형은 매우 미미하다(Fig. 1(b)). 또한 2차원 재료는 실리콘(∼1%) 대비 높은 파단 변형률을(∼23%) 보이기 때문에 굴곡 이미지 센서를 개발하는데 더 유리하다. 이 외에도 최근에 양자점을 신축성 있는 반도체 소재와 섞은 나노복합체(nanocomposite)를 활용하여 굴곡 이미지 센서를 개발한 연구 또한 보고되고 있다[12].

생체모사 카메라의 가장 대표적인 예시로는 사람의 눈을 모사한 카메라가 있다(Fig. 2(a))[11,13]. 단일평철 렌즈(plano-convex lens)에 의해 생성되는 곡면 초점면과 완벽하게 일치하는 곡면 이미지센서를 활용함으로써 단일 렌즈 만으로 광학 수차를 제거할 수 있다. 이를 통해 기존의 복잡했던 다렌즈 시스템에서 단일 렌즈로 광학계의 구성을 간소화했으며, 이를 통해 카메라의 크기 및 무게를 낮출 수 있었다(Fig. 2(b)). 또한 곡면 이미지 센서를 활용하여 단일 렌즈 기반의 고품질 이미징을 성공적으로 수행하였다(Fig. 2(c)).

Fig. 2. (a) Schematic illustration of the high-density curved images sensor array using the MoS₂-graphene heterostructure. (b) Ray tracing simulation of human eye-inspired camera consisting of the single plano-convex lens and curved image sensor array. (c) A Sigma-shaped image captured by the curved image sensor array. Adapted with permission from [11]. Copyright 2017, NPG. (d) Photograph of fisheye. Inset shows an illustration of the fisheye. (e) Ray-tracing simulation of the aquatic vision-inspired camera consisting of a monocentric lens and a hemispherical image sensor array. (f) Panoramic imaging demonstration (Field-of-view = 120°) achieved by the aquatic vision-inspired camera. Inset shows the image of original object. Adapted with permission from [19]. Copyright 2020, NPG.

Download Original Figure

하지만 실제 이미징을 수행할 때 사물은 다양한 거리에 위치한다. 사람의 눈은 렌즈의 모양을 변화시킴으로써 서로 다른 거리에 위치하는 사물에 초점을 맞춘다[14]. 이러한 초점 조절 원리는 생체모사 카메라에도 적용될 수 있다. 최근, 전기적으로 모양이 변화되는 곡률 가변렌즈를 활용하여 초점거리를 조절하고, 자성에 형태가 반응하는 신축성 이미지 센서를 활용하여 초점 조절에 의해 변화된 곡면 초점면과 일치하도록 형상이 변할 수 있는 곡면 이미지 센서가 개발되었다[15].

보안 카메라 및 자율주행 시스템에서는 넓은 범위의 물체 및 사물을 관찰할 수 있는 광각 능력이 요구하다. 하지만 기존의 카메라는 좁은 시야각을 관찰할 수 있음에도 불구하고 4∼6개의 렌즈로 구성된 광학계가 필요하다. 심지어 광각 카메라는 8∼13개의 더 많고 크기가 큰 렌즈들이 필요하다. 이는 카메라 모듈의 부피와 무게를 크게 증가시켜 모바일 디바이스의 이동성을 크게 감소시킨다. 사람의 눈을 모사한 카메라 개발을 통해 단일 렌즈 기반 카메라가 개발되었지만, 상기 카메라의 시야각은 30도 정도로 제한된다.

수중생물(예: 물고기)은 물속의 전방향에서 다가오는 포식자를 관찰할 수 있도록 광각 능력이 특화되어 있다[16-17]. 물고기의 눈은 포물선 형태의 굴절률(refractive index)을 가지는 단일 구형 렌즈(single spherical monocentric lens)와 고감도의 시세포로 구성된 반구형 망막으로 이루어져 있다. 상기 구조의 대칭적인 광학계를 통해 단일 렌즈 만으로 최대 160°의 넓은 시야각을 관찰할 수 있다(Fig. 2(d))[18]. 최근 수중생물 눈의 구조적 특징들을 모사하여 단일렌즈만으로 광각을 수차 없이 관찰할 수 있는 소형 카메라가 개발되었다. 두 가지의 굴절률을 가진 렌즈를 결합하여 단심렌즈를 제작하였으며, 단심렌즈에 의해 형성되는 반구형 초점면과 일치하는 반구형 이미지 센서를 제작하였다(Fig. 2(e))[19]. 또한 상기 요소들을 통합하여 120°의 넓은 시야각을 우수한 품질로 이미징 할 수 있는 소형 광각 카메라를 개발하였다(Fig. 2(f)). 특히, 단순히 렌즈와 반구형 이미지 센서의 거리를 변화시킴으로써 초점 거리를 조절할 수 있어 초점 조절이 용이하며, 짧은 초점 거리로 인해 깊은 심도(depth-of-field)로 사물을 관찰할 수 있었다.

인간의 시각은 망막의 시신경에서의 이미지 전처리를 수행함으로써 효율적으로 이미지를 인식할 수 있다. 이러한 이미지 전처리에 활용되는 핵심적인 특징은 시냅스 가소성이다. 최근 시냅스 가소성과 유사한 광반응을 구현하여 배경 잡음이 심한 이미지들로부터 별도의 데이터 처리 없이도 배경 잡음을 제거하고 대비가 향상된 이미지를 획득할 수 있는 시냅스성 이미지 센서가 개발되었다(Fig. 3(a))[20]. 개발된 시냅스성 이미지 센서는 광 입력의 반도에 따라 출력되는 광전류의 크기가 달라진다. 노이즈에 해당되는 간헐적인 광입력에 의해서는 낮은 크기의 광전류가 생성되고 금방 감퇴되는 반면(Fig. 3(b)), 중요한 신호에 해당되는 빈번한 광입력에 의해서는 광전류가 축적되어 지속적으로 증가한다(Fig. 3(c)). 이러한 특성은 각각 시냅스 가소성의 일종인 단기 가소성(short-term plasticity) 및 장기 상승작용(long-term potentiation)에 해당된다. 또한, 이러한 광에 의해 발생하는 시냅스 가소성(photon-triggered synaptic plasticity)을 활용하면 배경 잡음이 많은 광 입력으로부터 별도의 데이터 처리 없이도 잡음이 감소된 이미지를 얻어 낼 수 있다(Fig. 3(d)).

Fig. 3. (a) Schematic illustration of in-sensor noise reduction achieved by the synaptic image sensor array. The inset shows photon-triggered synaptic plasticity of the synaptic image sensor array. (b,c) The photocurrent generation and decaying characteristics depending on the frequency of optical pulses, corresponding to STP (b) and LTP (c). (d) The noise-reduced image acquired by 3×3 synaptic image sensor arrays. Adapted with permission from [19]. Copyright 2020, NPG. (e) Schematic illustration of all-or-none potentiation of synapse and neurons. (f) Circuit design of an integrated device of SPTr and QLED connected through the current-to-voltage converter. (g) SoN on-device pre-processing of sequentially irradiated noisy images, compared to in-sensor preprocessing. Adapted with permission from [20]. Copyright 2022, AAAS.

Download Original Figure

그러나 빛의 산란으로 인해 배경 노이즈가 심한 자외선 이미징에 있어서는 더 뛰어난 이미지 전처리 방식이 요구된다. 최근 뉴런의 발화특성(예: all-or-none potentiation)을 모사하여 배경 잡음을 완벽 하게 제거하며 이미징을 수행할 수 있는 생체모사 카메라가 개발되었다(Fig. 3(e))[21]. 시냅스후(post-synaptic) 뉴런의 발화는 시냅스후 전위의(post-synaptic potential) 합산 진폭에 따라 결정된다. 시간적, 공간적으로 합산된 시냅스후 전위가 임계 값에 도달하면 시냅스후 뉴런은 활동전위(action potential)를 발화한다. 만약, 시냅스후 전위가 임계 값을 넘지 못 하면 활동전위는 발화되지 않는다.

최근 시냅스성 이미지 센서에 임계-스위칭 특성을 보이는 양자점 발광소자(quantum dot light-emitting diode)를 전류-전압 증폭기(current-to-voltage amplifier)를 통해 전기적으로 연결하여 all-or-none potentiation과 유사한 광반응을 구현한 소자가 개발되었다(Fig. 3(e))[20]. 시냅스성 이미지 센서에 의해 1차적으로 배경 노이즈가 감소된 광전류가 얻어지고[21], 상기 광전류는 전류-전압 증폭기에 의해 전압으로 변환되어 양자점 발광소자의 양극에 가해진다. 이때 양자점 발광소자는 임계점 아래의 전압에 의해서는 작동하지 않고, 임계점 이상의 전압에 의해서만 기하급수적으로 증가하는 광전류를 생성한다. 이러한 특성은 all-or-none potentiation과 유사하여 signal-or-none on-device preprocessing이라고 명명되었다. 또한 signal-or-none on-device preprocessing을 활용하면 노이즈가 많은 환경에서 배경 잡음을 완벽하게 제거한 채로 이미징을 수행할 수 있다(Fig. 3(g)). 이는 기존의 시냅스성 이미지 센서에서 전처리 후에도 잔류 잡음이 남아있는 것과 차별화된다. 또한 배경 잡음이 완벽하게 제거된 이미지는 더 인공신경망 모델에 높은 정확도로 인식될 수 있어, 머신 비전의 정확도 및 효율성을 향상시킬 수 있다.