대부분의 사람들은 스마트폰의 인스타그램 필터나 Face ID 기능으로 안면 인식 기술에 꽤 익숙해졌습니다. 하지만 이 비교적 새로운 기술이 때로는 약간 섬뜩하게 느껴질 수도 있습니다. 얼굴은 지문처럼 고유하며, 안면 인식 기술은 상당히 복잡한 과정을 거칩니다.
새로운 기술이 흔히 그렇듯, 안면 인식 기술에도 분명한 단점이 존재합니다. 이러한 단점들은 군대, 경찰은 물론, 광고 업계나 딥페이크 제작자들에게도 안면 인식 소프트웨어를 악용할 새로운 방법을 찾도록 만들고 있습니다.
이제 그 어느 때보다 안면 인식 기술이 어떻게 작동하는지 이해하는 것이 중요해졌습니다. 안면 인식 기술의 한계와 앞으로 어떻게 발전할지에 대한 지식도 필수적입니다.
얼굴 인식의 기본 원리
다양한 방식으로 안면 인식 기술이 사용되기 전에, 그 작동 원리를 이해하는 것이 중요합니다. 다음은 안면 인식 소프트웨어가 사용되는 몇 가지 예시와 얼굴 인식 또는 식별 방식에 대한 간략한 설명입니다.
기본 안면 인식: Animoji나 인스타그램 필터와 같은 기능에서는 스마트폰 카메라가 얼굴의 주요 특징, 특히 눈, 코, 입을 “찾습니다”. 그런 다음 알고리즘을 사용하여 얼굴을 프레임에 맞추고, 시선 방향이나 입을 벌리고 있는지 등을 판단합니다. 이때 중요한 것은 이것이 얼굴을 식별하는 것이 아닌, 단순히 얼굴을 찾는 소프트웨어라는 점입니다.
Face ID 및 유사 기술: 스마트폰에 Face ID(또는 유사한 프로그램)를 설정하면 얼굴 사진을 찍고 얼굴 특징 사이의 거리를 측정합니다. 이후 스마트폰 잠금을 해제할 때마다 카메라를 통해 사용자의 얼굴을 “보고” 그 특징을 측정하여 사용자를 확인합니다.
낯선 사람 식별: 보안, 광고, 치안 유지 등의 목적으로 얼굴을 식별해야 하는 경우, 알고리즘을 사용하여 해당 얼굴을 광범위한 얼굴 데이터베이스와 비교합니다. 이 과정은 Apple의 Face ID와 거의 유사하지만 더 큰 규모로 진행됩니다. 이론적으로는 모든 데이터베이스(신분증, Facebook 프로필)를 사용할 수 있지만, 명확하게 사전 식별된 사진 데이터베이스가 가장 효과적입니다.
자, 이제 본격적으로 들어가 보겠습니다. 인스타그램 필터에 사용되는 ‘기본 얼굴 인식’은 매우 단순하고 무해한 과정이므로, 여기서는 얼굴 식별과 얼굴을 식별하는 데 사용되는 다양한 기술에 집중하겠습니다.
대부분의 안면 인식은 2D 이미지 기반
대부분의 안면 인식 소프트웨어는 2D 이미지에 의존합니다. 이는 2D 얼굴 이미징이 정확해서라기보다는 편리성 때문입니다. 압도적으로 많은 카메라가 깊이 정보 없이 사진을 촬영하고, 안면 인식 데이터베이스에 사용할 수 있는 공개 사진(예: Facebook 프로필 사진)도 대부분 2D 이미지입니다.
그렇다면 왜 2D 얼굴 이미징은 정확도가 떨어질까요? 그 이유는 평면 이미지에는 깊이와 같은 식별 정보가 없기 때문입니다. 평면 이미지에서 컴퓨터는 동공 거리나 입 너비 등을 측정할 수 있지만, 코의 길이, 이마의 돌출 정도 등은 파악할 수 없습니다.
또한 2D 얼굴 이미징은 가시광선 스펙트럼에 의존합니다. 즉, 어두운 환경에서는 제대로 작동하지 않으며, 조명이 어둡거나 특이한 환경에서도 신뢰성이 떨어집니다.
이러한 단점을 해결하는 방법 중 하나는 3D 얼굴 이미징을 사용하는 것입니다. 하지만 3D 이미징은 어떻게 가능할까요? 3D로 얼굴을 인식하려면 특별한 장비가 필요할까요?
IR 카메라는 얼굴 인식에 깊이를 더하다
일부 안면 인식 응용 프로그램은 2D 이미지에만 의존하지만, 3D 이미지를 사용하는 경우도 많습니다. 사실, 많은 사람들이 이미 3D 안면 인식 기술을 경험했을 가능성이 높습니다.
이것은 소나와 유사한 기술인 라이다(Lidar)를 통해 가능합니다. 기본적으로 아이폰과 같은 얼굴 스캔 장치는 얼굴에 무해한 IR 매트릭스를 방출합니다. 이 매트릭스(레이저 벽)는 얼굴에 반사되어 스마트폰의 IR 카메라(또는 ToF 카메라)에 포착됩니다.
3D 마법은 바로 여기서 시작됩니다. 스마트폰의 IR 카메라는 IR 광선이 얼굴에서 반사되어 다시 돌아오는 데 걸리는 시간을 측정합니다. 당연히 코에서 반사되는 빛은 귀에서 반사되는 빛보다 이동 거리가 짧고, IR 카메라는 이 정보를 사용하여 얼굴의 고유한 깊이 맵을 생성합니다. 이 3D 이미징은 기본 2D 이미징과 함께 사용될 때 안면 인식 소프트웨어의 정확도를 크게 높일 수 있습니다.
라이다 이미징은 다소 생소하게 느껴질 수 있습니다. 이해를 돕기 위해, 스마트폰(또는 모든 안면 인식 장치)의 IR 메시를 핀보드 장난감이라고 생각해보세요. 핀보드 장난감처럼 얼굴은 IR 메시지에 움푹 들어간 모양을 남깁니다. 코는 눈보다 훨씬 더 깊숙하게 들어갑니다.
열화상으로 야간에도 안면 인식 가능
2D 안면 인식의 단점 중 하나는 가시광선 스펙트럼에 의존한다는 것입니다. 즉, 어두운 환경에서는 작동하지 않습니다. 하지만 이러한 문제는 열화상 카메라를 사용하여 해결할 수 있습니다.
열화상 카메라가 IR 광선에 의존하지 않느냐고 반문할 수 있습니다. 맞습니다. 하지만 열화상 카메라는 IR 광선을 방출하는 대신, 물체에서 방출되는 IR 빛을 감지합니다. 따뜻한 물체는 많은 양의 IR 빛을 방출하는 반면, 차가운 물체는 무시할 만한 양의 IR 빛을 방출합니다. 고가의 열화상 카메라는 표면 전체의 미세한 온도 차이까지 감지할 수 있기 때문에, 안면 인식에 매우 효과적입니다.
열화상으로 얼굴을 식별하는 몇 가지 다양한 방법이 존재합니다. 이 모든 기술은 매우 복잡하지만, 몇 가지 공통점을 가지고 있습니다. 이를 바탕으로 간단하게 정리해 보겠습니다.
여러 장의 사진 필요: 열화상 카메라는 피사체의 얼굴을 여러 장 촬영합니다. 각 사진은 서로 다른 스펙트럼의 IR 광선(장파, 단파, 중파)에 초점을 맞춥니다. 일반적으로 장파 스펙트럼이 얼굴의 디테일을 가장 잘 보여줍니다.
혈관 지도의 활용: 이 IR 이미지는 사람의 얼굴에서 혈관 구조를 추출하는 데에도 사용할 수 있습니다. 다소 섬뜩하게 들릴 수 있지만, 혈관 지도는 고유한 얼굴 지문처럼 활용될 수 있습니다. 또한 얼굴 특징 사이의 거리를 파악하거나, 타박상과 흉터를 식별하는 데에도 유용합니다(일반적인 열화상 이미지가 조잡한 경우).
피사체 식별: 여러 IR 이미지를 사용하여 합성 이미지(또는 데이터 세트)를 생성합니다. 그런 다음 이 합성 이미지를 얼굴 데이터베이스와 비교하여 피사체를 식별할 수 있습니다.
열화상 안면 인식은 주로 군대에서 사용되며, 일반 매장이나 스마트폰에서 찾아볼 수 있는 기술은 아닙니다. 또한 열화상 이미지는 밝은 환경에서 제대로 작동하지 않기 때문에, 군사 분야 외에는 활용 가능성이 제한적입니다.
안면 인식의 한계
안면 인식 기술의 단점에 대해 많은 시간을 할애했습니다. IR과 열화상에서 보았듯이 이러한 제한 사항 중 일부는 극복할 수 있습니다. 하지만 여전히 해결해야 할 몇 가지 문제가 있습니다.
장애물: 예상대로 선글라스나 기타 액세서리로 인해 안면 인식 소프트웨어가 제대로 작동하지 않을 수 있습니다.
자세: 안면 인식은 중립적이고 정면을 향한 이미지에서 가장 효과적입니다. 머리를 기울이거나 돌리면 IR 기반 인식 소프트웨어도 얼굴을 인식하기 어려울 수 있습니다. 또한 미소, 볼이 부푼 상태 등은 컴퓨터가 얼굴을 측정하는 방식을 바꿀 수 있습니다.
빛: 모든 형태의 안면 인식은 빛에 의존합니다. 따라서 조명 조건이 좋지 않으면 얼굴 식별의 정확도가 떨어질 수 있습니다. 현재 과학자들은 소나 기반 안면 인식 기술을 개발하고 있으며, 이러한 문제점은 개선될 수 있을 것입니다.
데이터베이스: 좋은 데이터베이스가 없으면 얼굴 인식이 제대로 작동하지 않습니다. 과거에 제대로 식별되지 않은 얼굴을 식별하는 것은 불가능합니다.
데이터 처리: 데이터베이스의 크기와 형식에 따라 컴퓨터가 얼굴을 올바르게 식별하는 데 시간이 걸릴 수 있습니다. 치안 유지와 같은 일부 상황에서는 데이터 처리의 한계로 인해 안면 식별 기술의 일상적인 활용이 제한됩니다(어쩌면 다행일 수도 있습니다).
현재 이러한 한계를 해결하는 가장 좋은 방법은 안면 인식과 함께 다른 형태의 식별 기술을 사용하는 것입니다. 스마트폰이 얼굴을 인식하지 못하면 비밀번호나 지문을 요구하는 것처럼 말입니다. 중국 정부는 ID 카드와 추적 기술을 사용하여 안면 인식 네트워크의 오류 한계를 줄이려고 노력하고 있습니다.
미래에는 과학자들이 이러한 문제를 해결할 방법을 찾을 것입니다. Lidar와 소나 기술을 함께 사용하여 모든 환경에서 3D 얼굴 지도를 생성하고, 매우 짧은 시간 안에 얼굴 데이터를 처리하여 낯선 사람을 식별할 수 있게 될지도 모릅니다. 하지만 이 기술은 오용될 가능성이 크기 때문에, 계속해서 주시해야 할 필요가 있습니다.
출처: 리예카 대학교, 전자 프론티어 재단