Yapay Zeka Dedektörleri Doğru mu?

Kısa yanıt: tek başına kullanılacak kadar güvenilir değil. İşte bunun arkasındaki asıl mekanizma, sadece bir çekince değil.

Yapay zeka dedektörleri gerçekte nasıl çalışır

Çoğu yapay zeka metin dedektörünün, bir metnin makine tarafından yazıldığını kanıtlayan gizli bir imzası yoktur. Bunun yerine istatistiksel kalıpları ölçerler: kendinden önceki kelimeler göz önüne alındığında her kelime seçiminin ne kadar tahmin edilebilir olduğu, cümle uzunluğunun ve yapısının ne kadar tek düze olduğu; ve metni tipik bir dil modeli çıktısına ne kadar benzediğine göre puanlarlar. Bu bir olasılık tahminidir, parmak izi değil; ve her yeni model sürümü yazma şeklini değiştirdikçe kayan kalıplar üzerine kuruludur.

Yanlış pozitif sorunu

Dedektörler "tipik" yazıya karşı kalıp eşleştirmesi yaptığından, olağandışı derecede tek düze veya resmi yazılmış her şey daha sık işaretlenir; bunun içinde bolca insan yazısı da vardır. Bu en tutarlı şekilde, cümle yapısı ana dili İngilizce olan birine göre daha düzenli ve daha az deyimsel olan, ana dili İngilizce olmayan kişilerde belgelenmiştir; dedektörler bunu makineye özgü olarak okur. Çok kısa metinler ve büyük ölçüde kalıplaşmış yazılar (ön yazılar, standart iş e-postaları) da aynı sebeple yanlış pozitiflere yatkındır.

Dedektörlere karşı insanlaştırıcılar: hareketli bir hedef

Undetectable AI ve Humbot gibi yapay zeka insanlaştırıcıları olarak bilinen bütün bir araç kategorisi, özellikle yapay zeka ile üretilmiş metni bu dedektörlerde daha düşük puan alacak şekilde yeniden yazmak için var. Bir dedektör geliştiğinde insanlaştırıcılar buna uyum sağlar; bir insanlaştırıcı belirli bir dedektörü yenmede iyileştiğinde, dedektör sağlayıcısı o kalıba karşı yeniden eğitir. Hiçbir taraf uzun süre sabit kalmaz; bu da tek başına, bir aracın test edilmesinden aylar veya yıllar sonra tek bir dedektör puanını kesin bir hüküm olarak ele almamak için bir sebeptir.

Bir dedektörü gerçekte nasıl kullanmalı

• Yüksek bir yapay zeka puanını tek başına kanıt olarak değil, daha yakından bakma sebebi olarak gör
• Gerçek sonuçları olan herhangi bir şey için (notlandırma, işe alım, yayınlama) dedektörü içeriğin gerçek bir insan tarafından okunmasıyla eşleştir
• Tek bir dedektöre güvenme; farklı araçlar aynı metin üzerinde düzenli olarak birbiriyle çelişir
• Ana dili İngilizce olmayan yazının ve kısa, resmi metinlerin ortalamadan daha fazla yanlış pozitife yatkın olduğunun farkında ol