เครื่องตรวจจับ AI แม่นยำแค่ไหน

คำตอบสั้น ๆ คือไม่น่าเชื่อถือพอที่จะใช้เพียงลำพัง นี่คือกลไกที่แท้จริงเบื้องหลังเรื่องนี้ ไม่ใช่แค่คำเตือนกันเหนียว

เครื่องตรวจจับ AI ทำงานอย่างไรจริง ๆ

เครื่องตรวจจับข้อความ AI ส่วนใหญ่ไม่มีลายเซ็นลับที่พิสูจน์ได้ว่าข้อความนั้นเขียนโดยเครื่อง แต่พวกมันวัดรูปแบบทางสถิติแทน เช่น การเลือกใช้คำแต่ละคำคาดเดาได้ง่ายแค่ไหนเมื่อดูจากคำก่อนหน้า ความยาวและโครงสร้างประโยคสม่ำเสมอแค่ไหน แล้วให้คะแนนข้อความตามความคล้ายกับผลลัพธ์ทั่วไปของโมเดลภาษา นั่นคือการประมาณความน่าจะเป็น ไม่ใช่ลายนิ้วมือ และมันสร้างขึ้นจากรูปแบบที่เปลี่ยนไปทุกครั้งที่โมเดลเวอร์ชันใหม่เปลี่ยนวิธีการเขียน

ปัญหา False Positive

เพราะเครื่องตรวจจับเทียบรูปแบบกับงานเขียน “ทั่วไป” อะไรก็ตามที่เขียนด้วยสไตล์สม่ำเสมอหรือเป็นทางการผิดปกติจะถูกตีตราบ่อยกว่า รวมถึงงานเขียนของมนุษย์จำนวนไม่น้อยด้วย เรื่องนี้ถูกบันทึกไว้ชัดเจนที่สุดกับผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่ ซึ่งโครงสร้างประโยคมักสม่ำเสมอและเป็นสำนวนน้อยกว่าเจ้าของภาษา ทำให้เครื่องตรวจจับอ่านว่าคล้ายเครื่องจักร ข้อความสั้นมากและงานเขียนที่เป็นสูตรสำเร็จ (จดหมายสมัครงาน อีเมลธุรกิจมาตรฐาน) ก็เสี่ยงต่อ false positive ด้วยเหตุผลเดียวกัน

เครื่องตรวจจับ vs. Humanizer: เป้าหมายที่เคลื่อนที่ตลอด

มีเครื่องมือทั้งหมวดหมู่ อย่าง AI humanizer เช่น Undetectable AI และ Humbot ที่มีอยู่เพื่อเขียนข้อความที่ AI สร้างขึ้นใหม่ให้ได้คะแนนต่ำลงจากเครื่องตรวจจับเหล่านี้โดยเฉพาะ เมื่อเครื่องตรวจจับพัฒนาขึ้น humanizer ก็ปรับตัว เมื่อ humanizer เก่งขึ้นในการเอาชนะเครื่องตรวจจับตัวใดตัวหนึ่ง ผู้พัฒนาเครื่องตรวจจับก็ฝึกโมเดลใหม่เพื่อรับมือกับรูปแบบนั้น ไม่มีฝ่ายไหนนิ่งอยู่นาน ซึ่งเป็นเหตุผลหนึ่งที่ไม่ควรถือว่าคะแนนจากเครื่องตรวจจับตัวใดตัวหนึ่งเป็นคำตัดสินสุดท้าย หลายเดือนหรือหลายปีหลังจากทดสอบเครื่องมือนั้น

วิธีใช้งานเครื่องตรวจจับอย่างถูกต้อง

• ถือว่าคะแนน AI สูงเป็นเหตุผลให้ตรวจสอบเพิ่มเติม ไม่ใช่หลักฐานในตัวมันเอง
• สำหรับเรื่องที่มีผลกระทบจริง เช่น การให้เกรด การจ้างงาน การตีพิมพ์ ให้ใช้เครื่องตรวจจับควบคู่กับการอ่านเนื้อหาจริงโดยมนุษย์
• อย่าพึ่งพาเครื่องตรวจจับเพียงตัวเดียว เครื่องมือต่างกันมักให้ผลขัดแย้งกันกับข้อความเดียวกันอยู่เสมอ
• ตระหนักว่างานเขียนของผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่และข้อความสั้นที่เป็นทางการมีแนวโน้มเกิด false positive มากกว่าค่าเฉลี่ย