인공지능(AI) 텍스트 탐지기의 정확성 비교 분석
GPT와 같은 대규모 언어 모델의 발전으로 인해 인공지능이 생성한 텍스트와 사람이 작성한 텍스트를 구별하는 것이 점점 더 어려워지고 있습니다. 하지만 학계와 같이 특정 상황에서는 텍스트가 AI에 의해 생성되지 않았음을 확인해야 할 필요성이 있습니다.
이러한 요구에 부응하여 AI 텍스트 탐지기가 등장했습니다. 현재 시중에는 다양한 탐지 도구가 나와 있지만, 그 어떤 도구도 100% 완벽한 정확도를 보장하지는 않습니다. 그럼에도 불구하고 일부 도구는 상당히 정확한 결과를 제공하며, 이러한 도구들을 활용하여 AI 생성 텍스트를 식별하는 데 도움을 얻을 수 있습니다. 여기서는 여러분이 시도해 볼 수 있는 8가지 가장 정확한 AI 텍스트 탐지기를 소개합니다.
GPTZero: 교육용 AI 텍스트 탐지기
GPTZero는 원래 교사들이 학생 과제물이 AI를 사용하여 작성되었는지 확인하는 데 도움을 주기 위해 개발되었습니다. 하지만 GPTZero는 ChatGPT에서 생성된 콘텐츠를 정확하게 감지할 수 있으므로, 교사뿐만 아니라 일반 사용자도 유용하게 활용할 수 있습니다.
GPTZero는 텍스트를 분석하여 해당 텍스트가 인간이 작성한 것인지 아니면 AI가 작성한 것인지 판별합니다. 또한, AI가 생성했다고 판단되는 특정 문장을 강조 표시하고, 텍스트의 무작위성과 예측 불가능성을 나타내는 지표인 혼란도와 폭발성 점수를 제공합니다. 일반적으로 사람이 작성한 텍스트는 이러한 점수가 높게 나타나고, AI가 생성한 텍스트는 낮게 나타납니다.
GPTZero의 성능을 테스트하기 위해 어니스트 헤밍웨이의 “Soldier’s Home”에서 발췌한 부분을 입력해 보았습니다. GPTZero는 해당 텍스트를 “대부분 사람이 작성한 것 같다”고 올바르게 분류했습니다. 또한, ChatGPT에서 생성된 텍스트를 “완전히 AI가 작성한” 텍스트로 정확하게 식별했습니다.
흥미롭게도, AI와 인간이 작성한 텍스트가 혼합된 구절을 입력했을 때, GPTZero는 AI가 작성한 거의 모든 문장을 정확하게 식별해냈습니다. 그러나, 사람이 작성한 일부 내용도 AI 생성 텍스트로 잘못 표시하는 경우도 있었습니다.
전반적으로 GPTZero는 AI 텍스트를 탐지하는 데 뛰어난 성능을 보이지만, 가끔 잘못된 긍정 결과(오탐)를 생성하기도 합니다. GPTZero는 한 번에 여러 파일을 스캔할 수 있는 일괄 파일 업로드 기능도 제공합니다. 무료 플랜 외에도 기능이 추가되고 제한이 완화된 두 가지 유료 플랜도 이용할 수 있습니다.
Winston AI: 높은 정확도와 표절 검사 기능
Winston AI는 99.6%의 정확도로 AI 생성 콘텐츠를 감지한다고 주장합니다. 이러한 주장의 진위 여부를 완전히 검증할 수는 없지만, 테스트 결과 Winston AI는 상당히 좋은 성능을 보여주었습니다.
헤밍웨이의 “Soldier’s Home”를 테스트했을 때, 100% 사람이 작성한 텍스트로 정확하게 판별되었습니다. 마찬가지로, AI 텍스트는 사람이 작성한 내용이 0%라고 표시되었습니다. 더욱 인상적인 것은 AI와 인간 텍스트가 혼합된 구절을 35% 인간으로 표시하고, AI가 생성한 문장들을 거의 정확하게 강조 표시했다는 점입니다.
Winston AI는 가독성 점수와 표절 여부도 함께 제공합니다. 하지만, 무료 평가판은 2000단어로 제한되며, 이후에는 유료 계정으로 업그레이드해야 합니다.
Content at Scale: AI 텍스트 생성 및 감지 솔루션
Content at Scale은 몇 번의 클릭만으로 긴 형식의 콘텐츠를 생성하는 데 초점을 맞춘 AI 텍스트 생성기입니다. 이들은 AI 탐지 도구도 제공합니다.
Content at Scale AI Detector는 전체 점수와 함께 확률, 패턴, 예측 가능성에 대한 점수를 백분율로 제공합니다. 백분율이 높을수록 텍스트가 사람이 작성했을 가능성이 높다는 것을 의미합니다. 이 도구는 또한 AI가 생성했다고 판단되는 문장을 강조 표시합니다.
테스트 결과, 사람이 작성한 콘텐츠에는 100%, ChatGPT 텍스트에는 16%, 그리고 AI와 인간이 혼합된 콘텐츠에는 64%의 점수를 부여했습니다. 세부적으로 살펴보면, AI가 작성한 문장을 거의 모두 식별해냈습니다. 하지만, GPTZero와 마찬가지로 사람이 작성한 문장 중 일부를 AI 생성 텍스트로 오인하는 경우도 있었습니다.
이 도구는 무료로 제공되며, GPTZero와 유사한 결과를 생성하는 것으로 나타났습니다.
Originality AI: 유료 AI 텍스트 탐지 서비스
Originality AI는 GPT 3, GPT 3.5 및 ChatGPT에서 생성된 텍스트를 정확하게 감지한다고 주장하는 인기 있는 AI 텍스트 탐지기입니다. 이 도구는 텍스트가 인간 또는 AI에 의해 생성되었을 가능성을 백분율로 표시하고, 잠재적으로 AI가 생성한 문장을 강조 표시합니다.
Originality AI 2.0 탐지 모델(원본 도구의 업그레이드 버전)은 사람이 작성한 텍스트를 100% 사람이 작성했을 가능성이 있다고 표시하는 인상적인 성능을 보여주었습니다. 또한 ChatGPT의 답변을 100% AI 생성 텍스트로 정확하게 감지했습니다. AI와 인간 텍스트가 혼합된 구절을 분석하도록 요청했을 때, Originality AI는 이를 AI 68%, 인간 32%로 표시했습니다.
대부분의 다른 도구가 무료 플랜을 제공하는 반면, Originality AI는 유료 탐지기입니다. 추가 크레딧을 구매하면 콘텐츠의 표절 여부도 확인할 수 있습니다.
Writefull: 학술 글쓰기 지원 AI 도구
Writefull은 학술적 글쓰기를 보다 쉽게 만드는 것을 목표로 합니다. 이를 위해 다양한 AI 도구를 제공하며, 여기에는 GPT 감지기도 포함됩니다. 이 도구는 무료로 이용할 수 있으며, 개인 정보 보호를 위해 데이터를 암호화합니다.
Writefull GPT Detector는 GPT-3 및 ChatGPT로 작성된 콘텐츠를 식별할 수 있습니다. 분석 후 해당 콘텐츠가 AI에 의해 작성되었을 확률을 나타내는 점수를 제공합니다.
테스트에서 Writefull은 사람이 작성한 텍스트를 올바르게 감지하여 1%의 점수를 부여했습니다(즉, 텍스트가 AI에서 생성되었을 확률이 1%). 그러나 ChatGPT 텍스트에는 39%의 점수를 부여했습니다. 마찬가지로, AI 생성 콘텐츠를 인간 텍스트와 결합했을 때 Writefull은 이를 “GPT-3 또는 ChatGPT에서 나왔을 가능성이 2%”라고 표시했습니다.
Writefull은 인간과 AI 텍스트를 어느 정도 정확하게 인식했지만, 두 가지 유형의 텍스트가 혼합되었을 때 오류를 범했습니다. 이 도구는 Word 및 Overleaf와의 통합 기능을 제공하며, GPT Detector용 API도 함께 제공합니다.
Hive Moderation: AI 텍스트 및 이미지 감지 도구
Hive Moderation은 AI 텍스트를 감지할 뿐만 아니라 AI가 생성한 이미지도 찾아낼 수 있는 도구를 제공합니다.
텍스트 감지 도구는 사람이 작성한 텍스트를 “AI 텍스트가 포함될 가능성이 0%”로 정확하게 분석했습니다. 마찬가지로 AI가 생성한 텍스트도 정확하게 식별했습니다. 그러나 다른 대부분의 도구와 마찬가지로, 두 가지 텍스트가 혼합된 콘텐츠를 정확하게 감지하는 데는 어려움을 보였습니다.
이 사이트에서는 가입 없이 데모 도구를 무료로 이용할 수 있습니다. 하지만 전체 액세스 권한을 얻으려면 해당 업체에 문의해야 합니다. 또한, 이미지 감지기는 DALL-E 2 또는 Midjourney와 같은 AI 도구로 생성된 이미지를 찾는 데 도움이 될 수 있습니다.
Crossplag: 표절 검사 및 AI 텍스트 탐지
Crossplag는 AI 탐지 도구를 갖춘 또 다른 인기 있는 표절 검사기입니다. 이 도구는 텍스트를 붙여넣고 해당 텍스트가 AI에 의해 생성되었는지 확인할 수 있는 간단한 인터페이스를 제공합니다.
Crossplag는 텍스트가 AI로 생성될 가능성이 얼마나 되는지 알려줄 뿐만 아니라, AI가 생성한 것으로 판단되는 특정 문장을 강조 표시합니다.
Crossplag를 테스트했을 때 ChatGPT와 사람이 작성한 텍스트를 모두 올바르게 식별했습니다. 하지만, AI와 인간 텍스트가 혼합된 콘텐츠를 스캔하도록 요청했을 때, Crossplag는 이를 100% 인간이 작성한 것으로 잘못 표시했습니다.
표절 탐지기를 사용하려면 유료 플랜으로 업그레이드해야 하지만, Crossplag의 AI 탐지 도구는 무료로 이용할 수 있습니다.
Copyleaks: 다국어 지원 AI 텍스트 탐지기
가장 인기 있는 표절 탐지 도구 중 하나인 Copyleaks에는 ChatGPT, GPT-3 및 기타 유사한 언어 모델을 탐지하는 도구가 포함되어 있습니다. 이 도구의 가장 뛰어난 점은 스페인어, 프랑스어 등 다양한 언어로 작성된 콘텐츠도 감지할 수 있다는 것입니다.
Copyleaks는 어니스트 헤밍웨이의 단편 소설을 약 98.8%의 확률로 사람이 작성한 것으로 정확하게 식별했습니다. 마찬가지로 AI 텍스트는 83.9%의 정확도로 감지했습니다. 그러나 AI와 인간 콘텐츠가 혼합된 콘텐츠는 사람이 작성했을 가능성이 67.2%로 표시되어 오류가 발생했습니다.
Copyleaks AI Content Detector는 Chrome 확장 프로그램으로도 제공되며, API 및 LMS 통합 기능도 제공합니다.
AI 생성 텍스트, 간편하게 식별하기
위에 언급된 도구들을 통해 AI로 작성된 텍스트를 쉽게 찾을 수 있게 되었습니다. 하지만 이러한 도구들은 여전히 완벽하지 않다는 것을 유념해야 합니다. 문장 몇 개만 수정하여 이러한 탐지기를 속이는 것이 가능합니다. 그리고 더 큰 문제는 이러한 도구에서 발생하는 오탐(false positive)입니다.
이러한 탐지기에 전적으로 의존하는 것은 바람직하지 않지만, AI 텍스트에는 주의를 기울이면 발견할 수 있는 몇 가지 숨길 수 없는 특징이 있습니다.