Detectar texto de IA: quão confiáveis são os detectores de IA?

Resposta curta: não confiáveis o suficiente para confiar neles isoladamente. Aqui está o mecanismo real por trás disso, não só um aviso em letras pequenas.

Como os detectores de IA realmente funcionam

A maioria dos detectores de texto com IA não tem uma assinatura secreta que comprove que um texto foi escrito por uma máquina. Em vez disso, eles medem padrões estatísticos, quão previsível é cada escolha de palavra dado o que vem antes, quão uniformes são o tamanho e a estrutura das frases, e pontuam o texto de acordo com o quanto ele se parece com a saída típica de um modelo de linguagem. Isso é uma estimativa de probabilidade, não uma impressão digital, e se baseia em padrões que mudam a cada vez que uma nova versão de modelo altera seu jeito de escrever.

O problema dos falsos positivos

Como os detectores comparam com uma escrita "típica", qualquer texto incomumente uniforme ou formal é marcado com mais frequência, incluindo muito texto escrito por humanos. Isso já foi documentado principalmente entre pessoas que não têm o inglês como língua nativa, cuja estrutura de frases costuma ser mais regular e menos idiomática do que a de um falante nativo, algo que os detectores interpretam como típico de máquina. Textos muito curtos e escrita muito formulaica (cartas de apresentação, e-mails corporativos padrão) também são propensos a falsos positivos pelo mesmo motivo.

Detectores vs. humanizadores: um alvo em movimento

Uma categoria inteira de ferramentas, os humanizadores de IA como Undetectable AI e Humbot, existe justamente para reescrever texto gerado por IA de forma que ele pontue mais baixo nesses detectores. Quando um detector melhora, os humanizadores se adaptam; quando um humanizador se torna bom em enganar um detector específico, o fornecedor do detector o retreina contra aquele padrão exato. Nenhum dos dois lados fica estável por muito tempo, o que é em si um motivo para não tratar a pontuação de um único detector como um veredito final meses ou anos depois de testar a ferramenta.

Como usar um detector com bom senso

• Tratar uma pontuação alta de IA como motivo para olhar com mais atenção, não como prova isolada
• Para qualquer coisa com consequências reais, notas, contratações, publicação, combinar o detector com uma leitura humana do conteúdo
• Não depender de um único detector; ferramentas diferentes se contradizem com regularidade sobre o mesmo texto
• Levar em conta que a escrita de pessoas não nativas e textos curtos e formais são mais propensos a falsos positivos do que a média