KI-Text erkennen: Wie zuverlässig sind KI-Detektoren?

Kurze Antwort: nicht zuverlässig genug, um sich allein darauf zu verlassen. Hier ist der tatsächliche Mechanismus dahinter, nicht nur eine Einschränkung im Kleingedruckten.

Wie KI-Detektoren tatsächlich funktionieren

Die meisten KI-Text-Detektoren haben keine geheime Signatur, die beweist, dass ein Text maschinengeschrieben ist. Sie messen stattdessen statistische Muster, wie vorhersehbar jede Wortwahl angesichts der vorherigen Wörter ist, wie einheitlich Satzlänge und -struktur sind, und bewerten, wie stark der Text typischer Sprachmodell-Ausgabe ähnelt. Das ist eine Wahrscheinlichkeitsschätzung, kein Fingerabdruck, und sie basiert auf Mustern, die sich mit jeder neuen Modellversion verschieben, die die Schreibweise verändert.

Das Problem mit Falsch-Positiven

Weil Detektoren gegen "typisches" Schreiben abgleichen, wird alles, was ungewöhnlich einheitlich oder formell geschrieben ist, häufiger markiert, darunter auch viel menschlich geschriebener Text. Am häufigsten betrifft das Menschen, die nicht in ihrer Muttersprache schreiben, deren Satzstruktur oft regelmäßiger und weniger idiomatisch ausfällt als bei Muttersprachlern, was Detektoren als maschinenähnlich lesen. Sehr kurze Texte und stark formelhaftes Schreiben (Bewerbungsschreiben, Standard-Geschäftsmails) sind aus demselben Grund ebenfalls anfällig für Falsch-Positive.

Detektoren vs. Humanizer: ein bewegliches Ziel

Eine ganze Kategorie von Tools, KI-Humanizer wie Undetectable AI und Humbot, existiert genau dafür, KI-generierten Text so umzuschreiben, dass er bei diesen Detektoren niedriger bewertet wird. Verbessert sich ein Detektor, passen sich die Humanizer an; wird ein Humanizer gut darin, einen bestimmten Detektor zu umgehen, trainiert der Detektor-Anbieter gegen genau dieses Muster nach. Keine Seite bleibt lange stabil, was selbst ein Grund ist, den Score eines einzelnen Detektors nicht als endgültiges Urteil zu behandeln, Monate oder Jahre nachdem das Tool getestet wurde.

Wie man einen Detektor sinnvoll nutzt

• Einen hohen KI-Score als Grund für genaueres Hinsehen behandeln, nicht als Beweis für sich allein
• Bei allem mit echten Konsequenzen, Benotung, Bewerbungen, Veröffentlichung, den Detektor mit einer menschlichen Prüfung des Inhalts kombinieren
• Sich nicht auf einen einzigen Detektor verlassen; verschiedene Tools widersprechen sich beim gleichen Text regelmäßig
• Bedenken, dass nicht-muttersprachliches Schreiben und kurze, formelle Texte anfälliger für Falsch-Positive sind als der Durchschnitt