AI 탐지기는 정확한가?

짧은 답: 혼자 믿고 쓸 만큼 신뢰할 수는 없습니다. 그저 단서를 붙이는 게 아니라, 그 뒤에 있는 실제 작동 원리를 살펴봅니다.

AI 탐지기는 실제로 어떻게 작동하나

대부분의 AI 텍스트 탐지기에는 텍스트가 기계로 쓰였다는 걸 증명하는 비밀 서명 같은 게 없습니다. 대신 통계적 패턴을 측정합니다. 앞의 단어들을 고려했을 때 각 단어 선택이 얼마나 예측 가능한지, 문장 길이와 구조가 얼마나 균일한지를 보고, 텍스트가 일반적인 언어 모델의 출력과 얼마나 비슷한지 점수를 매깁니다. 이건 지문이 아니라 확률 추정치이며, 새 모델 버전이 글 쓰는 방식을 바꿀 때마다 함께 바뀌는 패턴 위에 세워져 있습니다.

오탐 문제

탐지기는 '전형적인' 글쓰기와 대조해 패턴을 맞추기 때문에, 유난히 균일하거나 격식 있는 문체로 쓰인 글은 사람이 쓴 글이라도 더 자주 걸립니다. 이는 영어가 모국어가 아닌 사람들에게서 가장 꾸준히 확인된 현상인데, 이들의 문장 구조는 원어민보다 더 규칙적이고 관용구가 적은 경향이 있어 탐지기가 이를 기계적이라고 읽어냅니다. 아주 짧은 텍스트와 지나치게 정형화된 글(자기소개서, 표준 업무 이메일)도 같은 이유로 오탐에 취약합니다.

탐지기 vs. 휴머나이저: 움직이는 표적

Undetectable AI나 Humbot 같은 AI 휴머나이저라는 도구 카테고리 전체가 바로 이 탐지기들에서 더 낮은 점수를 받도록 AI가 생성한 텍스트를 다시 쓰기 위해 존재합니다. 탐지기가 좋아지면 휴머나이저가 거기에 맞춰 조정하고, 휴머나이저가 특정 탐지기를 잘 속이게 되면 탐지기 개발사는 그 패턴에 맞서 다시 학습시킵니다. 어느 쪽도 오래 안정적이지 않으며, 이것이 바로 도구가 테스트되고 몇 달, 몇 년이 지난 뒤의 특정 탐지기 점수를 최종 판결로 삼으면 안 되는 이유이기도 합니다.

실제로 탐지기를 쓰는 법

• AI 점수가 높다는 건 그 자체로 증거가 아니라 더 자세히 들여다볼 이유로 삼으세요
• 채점, 채용, 발행처럼 실제 결과가 걸린 일에는 탐지기와 함께 실제 내용을 사람이 직접 읽는 과정을 반드시 병행하세요
• 탐지기 하나에 의존하지 마세요. 서로 다른 도구가 같은 텍스트를 두고도 자주 엇갈린 판정을 내립니다
• 영어가 모국어가 아닌 글과 짧고 격식 있는 텍스트는 평균보다 오탐이 잦다는 점을 기억하세요