최근 들어 많은 제조업체들이 자사의 스마트폰에 ToF(Time of Flight) 카메라가 탑재되었다는 점을 강조하고 있습니다. 그렇다면 ToF 카메라는 무엇이며, 어떤 원리로 작동하는 걸까요? 그리고 왜 스마트폰에 이러한 카메라를 탑재하는 걸까요?
ToF 카메라의 심도 측정 능력
간단히 말해 ToF 카메라는 일반 HD 카메라에 심도 측정 능력을 더한 카메라입니다. 예를 들어, 2019년에 출시된 화웨이 P30 Pro와 같은 스마트폰은 기존 카메라보다 4배 향상된 심도 측정 능력을 보여주었습니다. “심도 측정”이라는 용어가 다소 전문적으로 들릴 수 있지만, 실제로는 이해하기 어렵지 않습니다. 고해상도 카메라는 가까이 있는 물체(전경)와 멀리 있는 물체(배경)를 구분할 수 있는 능력을 의미합니다.
사진에서 전경과 배경의 이러한 구분을 피사계 심도라고 합니다. 이는 사진에 현실감이나 초점을 부여하는 요소입니다. 가까운 물체는 선명하고 뚜렷하게 보이는 반면, 멀리 있는 물체는 약간 흐릿하게 보이는 것이 피사계 심도의 결과입니다.
ToF 카메라를 활용하면 사진작가는 피사계 심도를 조절하는 데 더 많은 선택권을 가질 수 있습니다. 물론, ToF 카메라의 심도 측정 능력을 제대로 활용하기 위해 반드시 사진작가일 필요는 없습니다. 자동 카메라 설정만으로도 ToF 카메라를 통해 전경과 배경이 뚜렷하게 구분되는 멋진 이미지를 얻을 수 있습니다. 또한 ToF 카메라는 고급 이미지 안정화 기능을 제공하여 뛰어난 품질의 동영상 촬영을 지원하거나, 인스타그램 필터의 정확도를 높이는 데에도 사용될 수 있습니다.
더불어 스마트폰의 ToF 카메라는 얼굴 인식 기능, 제스처 인식, AR(증강 현실) 비디오 게임 등 다양한 분야에서 활용될 수 있습니다. 예를 들어, 카메라를 통해 주변 환경에 포켓몬을 배치하는 방식의 Pokemon Go를 기억하시나요? ToF 카메라는 이 기능을 더욱 실감나게 만들어줄 수 있습니다.
오래된 기술, 새로운 활용
흥미롭게도 ToF 카메라 기술은 1970년대 후반부터 존재해왔습니다. 그러나 이 기술이 소비자 제품에 적용될 만큼 저렴하고 편리해지기까지는 상당한 시간이 걸렸습니다.
과거 ToF 카메라는 주로 지형 매핑, 산업용 기계 자동화, 자동문 등에 사용되었습니다. 그러나 2014년에 이 기술은 많은 가정(아마도 당신의 집도 포함)에 보급되기 시작했습니다. Xbox One의 Kinect는 ToF 카메라를 활용하여 얼굴을 인식하고 손짓을 정밀하게 추적하는 기능을 제공했습니다.
2019년 4월 기준으로 ToF 카메라가 탑재된 스마트폰은 LG G8 씽큐, 아너 뷰 20, 화웨이 P30 Pro, 그리고 오포 RX17 Pro 등이 있습니다. 이 스마트폰들은 주로 사진 애호가나 얼리어답터를 대상으로 판매되었지만, 삼성과 애플을 포함한 다른 제조사들의 2019년 및 2020년 출시 예정 모델의 표준을 제시하고 있습니다.
자, 이제 ToF 카메라는 꽤 멋진 기술이며, 스타워즈 영화가 등장한 시기부터 존재해 왔다는 것을 알게 되었습니다. 그렇다면 ToF 카메라는 어떻게 작동하며, 왜 그렇게 뛰어난 심도 측정 능력을 가지고 있을까요?
ToF 카메라는 Lidar를 활용한 깊이 측정
박쥐나 돌고래가 소리를 통해 주변 환경을 “인지”하는 방법을 아시나요? 인간은 이 아이디어를 응용하여 잠수함에 음파탐지기라는 기술을 적용했습니다. ToF 카메라는 유사한 원리를 사용하여 깊이를 측정하는데, 라이다라는 기술을 활용하며, 소리 대신 적외선(IR) 펄스를 사용합니다.
스마트폰의 ToF 카메라로 사진을 촬영하면, 카메라 주변의 물체에 반사되는 보이지 않는 적외선 펄스를 방출합니다. 이 빛 중 일부는 사라지지만, 대부분은 다시 카메라로 되돌아옵니다.
박쥐의 음파처럼 라이다 파동은 반사되어 돌아옵니다. 가까운 물체에서 반사된 적외선 빛은 ToF 카메라로 빠르게 되돌아오는 반면, 멀리 있는 물체에서 반사된 빛은 시간이 더 걸립니다. 스마트폰은 각 광선이 되돌아오는 데 걸리는 시간을 측정하고 복잡한 계산을 거쳐 세밀한 3D 깊이 맵을 생성합니다.
여러분은 핀보드 장난감에 얼굴을 대본 적이 있으실 겁니다. 이 장난감에서 코는 보드에 가까워서 눈이나 볼보다 더 깊게 들어간 것처럼 보이기 때문에 “3D 효과”를 만들어냅니다.
물론 적외선 빛의 반사만으로는 스마트폰에 깊이 정보만 제공합니다. 이러한 이유로 ToF 카메라는 적외선 기능과 기존의 고해상도 카메라를 결합하여 사용합니다. 스마트폰은 소프트웨어를 사용하여 기존 사진과 적외선 3D 깊이 맵을 혼합하여 전경과 배경이 뚜렷하게 구분되는 이미지를 생성합니다.
ToF 카메라의 미래 활용
앞으로 몇 년 안에 ToF 카메라는 스마트폰으로 사진이나 동영상을 촬영하는 방식에 큰 변화를 가져올 것입니다. 하지만 더 큰 그림을 생각해 봅시다. 우리는 빛의 속도로 주변 환경의 깊이 지도를 생성할 수 있는 기술에 대해 이야기하고 있습니다. 따라서 이 기술의 응용 분야는 사진 촬영을 넘어 훨씬 다양해질 수 있습니다.
사실 스마트폰에 처음으로 ToF 카메라가 탑재된 목적은 사진 촬영이 아닐 가능성이 높습니다. 삼성 갤럭시 S10 5G는 전면과 후면에 모두 ToF 카메라를 탑재했습니다. 애플은 미래 아이폰 계획에 대해 말을 아끼고 있지만, 소문에 따르면 2019년 아이폰에도 ToF 카메라가 탑재될 수 있다고 합니다. 이러한 업데이트는 셀카를 멋지게 만들어줄 뿐만 아니라 Face ID와 같은 보안 기능의 정확도도 높여줄 수 있습니다. 스마트폰을 설정하는 동안 얼굴 인식 기능을 활성화하면, 셀카를 찍기도 전에 얼굴의 3D 지도가 조용히 캡처됩니다.
제스처 인식은 ToF 카메라의 또 다른 흥미로운(하지만 논쟁의 여지가 있는) 활용 분야입니다. 물론 Kinect의 제스처 시스템은 나름의 가치가 있었지만, 앞으로 몇 년 안에는 비슷한 기술을 사용하여 스마트폰, 컴퓨터, 스마트 어시스턴트, 스마트워치를 제어하게 될 것입니다. 현재 Motion과 같은 기업은 데스크톱 컴퓨터용 ToF 애플리케이션을 개발하고 있으며, Google과 같은 제조업체는 레이더 및 라이다 시스템을 사용하여 핸즈프리 제스처 제어 스마트워치 및 스마트 어시스턴트를 만들고 있습니다.
제스처 제어와 함께 ToF 카메라는 VR(가상 현실) 및 AR(증강 현실) 애플리케이션에도 매우 적합합니다. 간단하게 말해서 인스타그램 필터나 포켓몬 고와 같은 앱들은 ToF 카메라와 함께 사용하면 훨씬 더 “현실적”으로 보일 것입니다. 그러나 VR과 같이 더 복잡한 애플리케이션의 경우에는 ToF 카메라를 사용하여 게이머의 손짓과 발 움직임을 인식할 수 있습니다. 또한 주변 환경을 빠르게 매핑하고 VR 세계로 변환하는 데에도 사용할 수 있습니다. 이러한 기능은 전문 게임 개발 속도를 높여주거나, 인디 게임 개발자들에게 VR 시장을 열어줄 수 있습니다.
ToF 카메라는 실용적인 목적에도 활용될 수 있습니다. 과거에는 공장에서 기계 자동화에 사용되었습니다. 이러한 용도는 앞으로도 변하지 않을 것입니다. ToF 카메라의 성능이 향상되고 가격이 저렴해짐에 따라 더욱 많은 산업용 및 소비자용 AI 제품에 적용될 것으로 예상됩니다. 이미 대부분의 스마트 자동차는 일종의 라이다 기술을 활용하여 주변 환경을 “인지”하고 있습니다(흥미롭게도 테슬라 자동차는 라이다를 사용하지 않습니다).
새로운 스마트폰의 ToF 카메라는 현재 사진, AR 및 얼굴 인식 애플리케이션에 한정되어 있지만, 지금이야말로 이 기술에 익숙해지기에 좋은 시기입니다. 결국 ToF 카메라는 우리 주변 어디에나 존재하게 될 것입니다.
출처: 마우저