I rilevatori IA sono precisi?

Risposta breve: non abbastanza affidabili da usare da soli. Ecco il meccanismo reale dietro questo, non solo una cautela di facciata.

Come funzionano davvero i rilevatori IA

La maggior parte dei rilevatori di testo IA non ha una firma segreta che dimostri che un testo è scritto da una macchina. Misurano invece pattern statistici, quanto è prevedibile ogni scelta di parola dato ciò che viene prima, quanto sono uniformi lunghezza e struttura delle frasi, e assegnano un punteggio in base a quanto il testo assomiglia al tipico output di un modello linguistico. È una stima di probabilità, non un'impronta digitale, e si basa su pattern che cambiano ogni volta che una nuova versione di un modello cambia il modo in cui scrive.

Il problema dei falsi positivi

Poiché i rilevatori confrontano il testo con una scrittura "tipica", tutto ciò che è scritto in modo inusualmente uniforme o formale viene segnalato più spesso, incluso molto testo scritto da persone. Questo è stato documentato in modo più costante per chi non scrive in inglese come lingua madre, la cui struttura delle frasi tende a essere più regolare e meno idiomatica di quella di un madrelingua, cosa che i rilevatori leggono come simile a una macchina. Anche i testi molto brevi e la scrittura fortemente formulaica (lettere di presentazione, email aziendali standard) sono soggetti a falsi positivi per lo stesso motivo.

Rilevatori contro umanizzatori: un bersaglio mobile

Un'intera categoria di strumenti, gli umanizzatori IA come Undetectable AI e Humbot, esiste specificamente per riscrivere testo generato dall'IA in modo da ottenere un punteggio più basso su questi rilevatori. Quando un rilevatore migliora, gli umanizzatori si adattano; quando un umanizzatore diventa bravo a battere un rilevatore specifico, il fornitore del rilevatore lo riaddestra contro quel pattern. Nessuna delle due parti resta stabile per molto, il che è di per sé un motivo per non trattare il punteggio di un singolo rilevatore come un verdetto finale mesi o anni dopo che lo strumento è stato testato.

Come usarne davvero uno

• Tratta un punteggio IA alto come un motivo per guardare più a fondo, non come una prova di per sé
• Per qualsiasi cosa con conseguenze reali, valutazioni, assunzioni, pubblicazione, affianca il rilevatore a una lettura umana del contenuto reale
• Non affidarti a un singolo rilevatore; strumenti diversi non sono regolarmente d'accordo tra loro sullo stesso testo
• Tieni presente che la scrittura di chi non ha l'inglese come lingua madre e i testi brevi e formali sono più soggetti a falsi positivi della media