Detectar texto de IA: ¿qué tan fiables son los detectores de IA?

Respuesta corta: no lo bastante fiables como para confiar en ellos solos. Esto es el mecanismo real detrás, no solo una advertencia en la letra pequeña.

Cómo funcionan realmente los detectores de IA

La mayoría de los detectores de texto con IA no tienen una firma secreta que demuestre que un texto está escrito por una máquina. En su lugar, miden patrones estadísticos, qué tan previsible es cada elección de palabra dado lo que viene antes, qué tan uniformes son la longitud y la estructura de las frases, y puntúan el texto según cuánto se parece a la salida típica de un modelo de lenguaje. Eso es una estimación de probabilidad, no una huella digital, y se basa en patrones que cambian cada vez que una nueva versión de modelo altera su forma de escribir.

El problema de los falsos positivos

Como los detectores comparan contra una escritura "típica", cualquier texto inusualmente uniforme o formal se marca con más frecuencia, incluido mucho texto escrito por humanos. Esto se ha documentado sobre todo en personas que no tienen el inglés como lengua materna, cuya estructura de frases suele ser más regular y menos idiomática que la de un hablante nativo, algo que los detectores interpretan como propio de una máquina. Los textos muy cortos y la escritura muy formulaica (cartas de presentación, correos empresariales estándar) también son propensos a falsos positivos por el mismo motivo.

Detectores vs. humanizadores: un objetivo en movimiento

Toda una categoría de herramientas, los humanizadores de IA como Undetectable AI y Humbot, existe precisamente para reescribir texto generado por IA de modo que puntúe más bajo en estos detectores. Cuando un detector mejora, los humanizadores se adaptan; cuando un humanizador se vuelve bueno engañando a un detector concreto, el proveedor del detector lo reentrena contra ese patrón exacto. Ningún lado se mantiene estable mucho tiempo, lo que es en sí mismo un motivo para no tratar la puntuación de un único detector como un veredicto final meses o años después de haber probado la herramienta.

Cómo usar un detector con sentido

• Tratar una puntuación alta de IA como motivo para mirar con más atención, no como prueba por sí sola
• Para cualquier cosa con consecuencias reales, calificaciones, contrataciones, publicación, combinar el detector con una lectura humana del contenido
• No depender de un único detector; distintas herramientas se contradicen entre sí con regularidad sobre el mismo texto
• Tener en cuenta que la escritura de personas no nativas y los textos cortos y formales son más propensos a falsos positivos que la media