딥페이크를 더 잘 감지하는 사람: 사람인가 기계인가?

by

주요 시사점

  • 딥페이크는 허위 정보 유포, 사칭을 통한 명예 훼손, 국가 안보를 위한 갈등 조장 등 사회에 심각한 위협을 가하고 있습니다.
  • AI 기술은 딥페이크 탐지를 위한 도구를 제공하지만 완벽하지는 않으며 딥페이크를 식별하는 데 인간의 재량권이 여전히 중요합니다.
  • 인간과 AI 탐지 도구는 딥페이크 식별에 있어서 서로 다른 강점과 약점을 갖고 있으며, 이들의 능력을 결합하면 딥페이크 기술의 위험을 탐지하고 완화하는 성공률을 높일 수 있습니다.

딥페이크는 사회의 모든 측면을 위협합니다. 가짜 콘텐츠를 식별하는 우리의 능력은 허위 정보를 무효화하는 데 중요합니다. 하지만 AI 기술이 발전함에 따라 딥페이크를 탐지하는 데 누가 신뢰할 수 있습니까? 사람입니까 아니면 기계입니까?

딥페이크의 위험성

AI 기술이 발전함에 따라 딥페이크의 위험은 우리 모두에게 점점 더 큰 위협이 되고 있습니다. 다음은 딥페이크가 제기하는 가장 시급한 문제에 대한 간략한 요약입니다.

  • 허위 정보: 딥페이크된 비디오 및 음성 녹음은 가짜 뉴스와 같은 허위 정보를 퍼뜨릴 수 있습니다.
  • 명의 도용: 딥페이크는 개인을 사칭하여 사람들의 평판을 손상시키거나 아는 사람을 속일 수 있습니다.
  • 국가 안보: 딥페이크의 명백한 종말 시나리오는 글로벌 리더가 갈등을 조장하는 조작된 영상이나 오디오입니다.
  • 시민 불안: 당사자들은 기만적인 영상과 오디오를 사용하여 특정 집단의 분노와 시민 불안을 조장할 수도 있습니다.
  • 사이버 보안: 사이버 범죄자들은 ​​이미 AI 음성 복제 도구를 사용하여 아는 사람들의 설득력 있는 메시지로 개인을 표적으로 삼고 있습니다.
  • 개인 정보 보호 및 동의: 딥페이크의 악의적인 사용은 개인의 동의 없이 개인의 모습을 도용합니다.
  • 신뢰와 확신: 진실과 거짓을 구별할 수 없다면 정확한 정보도 마찬가지로 신뢰할 수 없게 됩니다.

딥페이크는 점점 더 설득력을 갖게 될 것이므로 딥페이크를 탐지하기 위해서는 강력한 도구와 프로세스가 필요합니다. AI는 딥페이크 탐지 모델 형태로 그러한 도구 중 하나를 제공하고 있습니다. 그러나 AI가 작성한 글을 식별하도록 설계된 알고리즘과 마찬가지로 딥페이크 탐지 도구도 완벽하지 않습니다.

현재로서는 인간의 재량만이 우리가 의지할 수 있는 유일한 도구입니다. 그렇다면 우리는 딥페이크를 식별하는 데 알고리즘보다 나은 점이 있을까요?

알고리즘이 인간보다 딥페이크를 더 잘 감지할 수 있습니까?

딥페이크는 거대 기술 기업과 연구 그룹이 연구 개발에 막대한 자원을 투자할 정도로 심각한 위협입니다. 2019년에는 Meta, Microsoft, Amazon과 같은 업체가 100만 달러의 상금을 제공했습니다. 딥페이크 탐지 챌린지 가장 정확한 탐지 모델을 위해.

최고 성능 모델은 공개적으로 사용 가능한 비디오 데이터 세트에 비해 82.56%의 정확도를 보였습니다. 그러나 동일한 모델을 공개되지 않은 10,000개의 동영상으로 구성된 “블랙박스 데이터 세트”에 대해 테스트했을 때 최고 성능 모델의 정확도는 65.18%에 불과했습니다.

우리는 또한 인간을 대상으로 AI 딥페이크 탐지 도구의 성능을 분석한 많은 연구를 진행하고 있습니다. 물론 결과는 연구마다 다르지만 일반적으로 인간은 딥페이크 탐지 도구의 성공률과 같거나 그보다 더 뛰어납니다.

2021년 한 연구는 다음에 발표되었습니다. PNAS “일반 인간 관찰자”가 주요 딥페이크 탐지 도구보다 약간 더 높은 정확도를 달성했다는 사실을 발견했습니다. 그러나 연구에서는 인간 참가자와 AI 모델이 다양한 유형의 실수에 취약하다는 사실도 발견했습니다.

흥미롭게도, 시드니대학교 우리는 인간의 뇌가 의식적인 노력보다 딥페이크를 찾아내는 데 무의식적으로 더 효과적이라는 사실을 발견했습니다.

딥페이크에서 시각적 단서 탐지

딥페이크 탐지 과학은 복잡하며 필요한 분석은 영상의 성격에 따라 다릅니다. 예를 들어, 2020년 북한 지도자 김정은의 악명 높은 딥페이크 영상은 기본적으로 말하는 머리 영상입니다. 이 경우 가장 효과적인 딥페이크 탐지 방법은 비짐(입 움직임)과 음소(음소)를 분석하여 불일치 여부를 확인하는 것일 수 있습니다.

결과가 다양하더라도 인간 전문가, 일반 시청자 및 알고리즘은 모두 이러한 종류의 분석을 수행할 수 있습니다. 그만큼 MIT 딥페이크 동영상을 식별하는 데 도움이 되는 8가지 질문을 정의합니다.

  • 얼굴에주의하십시오. 고급 DeepFake 조작은 거의 항상 얼굴 변형입니다.
  • 볼과 이마에 주목하세요. 피부가 너무 매끄러워 보이나요, 아니면 너무 주름져 보이나요? 피부의 노화도 머리카락이나 눈의 노화와 비슷할까요? DeepFake는 일부 차원에서 일치하지 않을 수 있습니다.
  • 눈과 눈썹에 주의하세요. 예상했던 곳에 그림자가 나타나나요? DeepFakes는 장면의 자연 물리학을 완전히 표현하지 못할 수 있습니다.
  • 안경에 주의하세요. 눈부심이 있나요? 눈부심이 너무 많은가? 사람이 움직일 때 빛의 각도가 변하나요? 이번에도 DeepFakes는 조명의 자연 물리학을 완전히 표현하지 못할 수 있습니다.
  • 수염이 없는지 주의하세요. 이 수염이 진짜처럼 보이나요? DeepFakes는 콧수염, 구레나룻 또는 턱수염을 추가하거나 제거할 수 있습니다. 그러나 DeepFakes는 얼굴 털 변형을 완전히 자연스럽게 만드는 데 실패할 수 있습니다.
  • 얼굴 점에 주의하세요. 두더지가 진짜처럼 보이나요?
  • 깜박임에 주의하세요. 그 사람이 눈을 충분히 깜박이는가, 아니면 너무 많이 깜박이는가?
  • 입술 움직임에 주의하세요. 일부 딥페이크는 립싱크를 기반으로 합니다. 입술 움직임이 자연스러워 보이죠?

최신 AI 딥페이크 탐지 도구는 다양한 수준의 성공을 통해 동일한 요소를 다시 분석할 수 있습니다. 데이터 과학자들은 화면 스피커의 얼굴에서 자연스러운 혈류를 감지하는 등 새로운 방법도 지속적으로 개발하고 있습니다. 기존 접근 방식에 대한 새로운 접근 방식과 개선으로 인해 AI 딥페이크 탐지 도구는 앞으로도 지속적으로 인간보다 뛰어난 성능을 발휘할 수 있습니다.

딥페이크에서 오디오 단서 탐지

딥페이크 오디오를 탐지하는 것은 완전히 다른 도전입니다. 비디오의 시각적 단서와 시청각 불일치를 식별할 수 있는 기회가 없으면 딥페이크 탐지는 오디오 분석에 크게 의존합니다(경우에 따라 메타데이터 확인과 같은 다른 방법도 도움이 될 수 있습니다).

에서 발표한 연구 유니버시티 칼리지 런던 2023년에는 인간이 딥페이크 음성을 73%의 시간(영어 및 중국어)으로 탐지할 수 있다는 사실이 밝혀졌습니다. 딥페이크 비디오와 마찬가지로 인간 청취자는 AI 생성 음성에서 부자연스러운 음성 패턴을 직관적으로 감지하는 경우가 많습니다.

일반적인 징후는 다음과 같습니다:

  • 슬러링
  • 표현력 부족
  • 배경 또는 간섭 소음
  • 음성 또는 언어 불일치
  • 목소리의 “충만함” 부족
  • 지나치게 스크립트된 전달
  • 불완전성 부족(잘못된 시작, 수정, 목구멍 청소 등)

다시 한번 말하지만, 알고리즘은 동일한 딥페이크 신호에 대해 음성을 분석할 수도 있지만 새로운 방법으로 인해 도구가 더욱 효과적으로 만들어지고 있습니다. 연구 유즈닉스 AI 성대 재구성에서 자연스러운 음성을 모방하지 못하는 패턴을 식별했습니다. AI 음성 생성기는 인간 음성의 자연스러운 움직임 없이 좁은 성도(대략 빨대 크기)와 일치하는 오디오를 생성한다고 요약합니다.

이전 연구에서는 호르스트 괴르츠 연구소 영어와 일본어로 된 진짜 음성과 딥페이크 오디오를 분석하여 진짜 음성과 딥페이크의 고주파수에서 미묘한 차이를 드러냈습니다.

성도와 고주파수 불일치는 모두 인간 청취자와 AI 감지 모델에서 인지할 수 있습니다. 고주파수 차이의 경우 AI 모델은 이론적으로 점점 더 정확해질 수 있지만 AI 딥페이크의 경우에도 마찬가지입니다.

인간과 알고리즘은 모두 딥페이크에 속지만 그 방식은 다릅니다

연구에 따르면 인간과 최신 AI 탐지 도구는 딥페이크를 식별할 수 있는 능력이 유사하다고 합니다. 성공률은 테스트 매개변수에 따라 50%에서 90+%까지 다양합니다.

더 나아가 인간과 기계도 비슷한 정도로 딥페이크에 속습니다. 그러나 결정적으로 우리는 다양한 방식으로 취약하며 이는 딥페이크 기술의 위험에 대처하는 데 있어 가장 큰 자산이 될 수 있습니다. 인간의 강점과 딥페이크 탐지 도구를 결합하면 각각의 약점을 완화하고 성공률을 높일 수 있습니다.

예를 들어, MIT 연구에 따르면 인간은 AI 모델보다 세계 지도자와 유명인의 딥페이크를 더 잘 식별하는 것으로 나타났습니다. 또한 AI 모델이 여러 사람이 등장하는 영상을 처리하는 데 어려움을 겪는다는 사실이 밝혀졌지만 이는 단일 화자가 등장하는 영상에 대해 알고리즘을 훈련한 결과일 수 있음을 시사했습니다.

반대로, 같은 연구에서는 AI 모델이 의도적으로 인간 시청자를 속이는 데 사용될 수 있는 낮은 품질의 영상(흐릿하거나 거칠거나 어두움 등)으로 인간보다 성능이 뛰어난 것으로 나타났습니다. 마찬가지로, 특정 얼굴 부위의 혈류를 모니터링하는 것과 같은 최근 AI 감지 방법에는 인간이 할 수 없는 분석이 통합되어 있습니다.

더 많은 방법이 개발됨에 따라 우리가 할 수 없는 징후를 감지하는 AI의 능력은 향상될 뿐만 아니라 속이는 능력도 향상될 것입니다. 가장 큰 문제는 딥페이크 탐지 기술이 계속해서 딥페이크 자체를 능가할 것인지 여부입니다.

딥페이크 시대에 사물을 다르게 보기

AI 딥페이크 탐지 도구는 딥페이크 콘텐츠 자체의 품질과 마찬가지로 계속해서 개선될 것입니다. AI의 속이는 능력이 탐지 능력을 능가한다면(AI가 생성한 텍스트의 경우와 마찬가지로) 딥페이크와 싸우기 위해 우리가 남긴 유일한 도구는 인간의 재량일 수 있습니다.

모든 사람은 딥페이크의 징후와 이를 발견하는 방법을 배울 책임이 있습니다. 사기와 보안 위협으로부터 우리 자신을 보호하는 것 외에도 온라인에서 토론하고 공유하는 모든 것은 현실을 파악하지 못하면 허위 정보에 취약합니다.