[더리포트=이진수기자] KAIST(총장 이광형) 바이오및뇌공학과 정기훈, 이도헌 교수 공동연구팀이 얼굴의 감정표현을 구분하는 기술을 개발했다.

3차원 이미지를 만들어내는 라이트필드 카메라에 인공지능(AI) 기술을 접목한 성과다.

7일 KAIST에 따르면 라이트필드 카메라는 곤충의 시각 구조를 모방해 미세렌즈와 대물렌즈를 결합해 만든 카메라다.

일반 카메라는 광학렌즈를 통해 들어오는 빛 중 하나의 방향만 이미지 센서에 기록한다. 반면 라이트필드 카메라는 광학 렌즈와 이미지 센서 사이에 미세렌즈 배열을 삽입해 빛의 방향과 무관하게 피사체에서 반사된 모든 빛의 정보를 기록한다. 한 번의 촬영 후에도 초점, 심도 등의 변경이 자유로워 쉽게 3차원 영상으로 재구성할 수 있다. 

하지만 기존의 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크(Optical crosstalk)에 의해 이미지의 대비도 및 3차원 재구성의 정확도가 낮아지는 단점이 있다.

KAIST 연구팀은 라이트필드 카메라에 근적외선 영역의 수직 공진형 표면 발광 레이저(VCSEL) 광원과 근적외선 대역필터를 적용, 기존 라이트필드 카메라가 갖는 조명 환경에 따라 3차원 재구성의 정확도가 낮아지는 문제를 해결했다. 

이를 통해 얼굴 정면 기준 0도, 30도, 60도 각도의 외부 조명에 대해, 근적외선 대역필터를 사용한 경우 최대 54%까지 영상 재구성 오류를 줄일 수 있었다.

특히 가시광선 및 근적외선 영역을 흡수하는 광 흡수층을 미세렌즈 사이에 제작하면서 광학 크로스토크를 최소화해 원시 영상의 대비도를 기존 대비 약 2.1배 정도로 획기적으로 향상하는 데 성공했다. 바로 이번에 개발한 3차원 표정 영상 재구성에 최적화된 근적외선 기반 라이트필드 카메라(NIR-LFC, NIR-based light-field camera)다.

연구팀은 이 카메라를 통해 조명 환경과 관계없이, 다양한 감정표정을 가진 고품질의 얼굴 이미지를 얻을 수 있었다. 아울러 이 3차원 얼굴 이미지로부터 기계 학습을 통해 성공적으로 표정을 구분할 수 있게 됐다. 분류 결과의 정확도는 평균 85% 정도로 2차원 이미지를 이용했을 때보다 통계적으로 유의미하게 높은 정확도를 보였다.

정기훈 교수는 “보통 표정을 인식하는 장치는 2D 카메라를 사용하는데, 고개를 돌리는 등의 움직임이 있으면 정확도가 크게 떨어진다”며 “이 때문에 표정 인식을 위해 2D 카메라를 동시에 두 대를 써야 한지만, 라이트필드 카메라는 작은 크기의 한 대만 이용해도 3D 이미지를 추출할 수 있다”고 말했다.