Câu trả lời ngắn: các công cụ phát hiện văn bản do AI viết hiện nay không đủ tin cậy để dùng làm bằng chứng đơn lẻ cho kết luận về một bài viết cụ thể. Chúng có thể hữu ích như một tín hiệu để xem xét thêm, nhưng tỷ lệ báo nhầm (gắn nhãn AI cho văn bản người viết) đáng kể, dễ bị qua mặt bằng chỉnh sửa nhẹ, và có bằng chứng thiên lệch bất lợi cho người viết bằng ngôn ngữ không phải tiếng mẹ đẻ.
Ngay chính OpenAI đã rút bộ phân loại văn bản AI của mình vào giữa năm 2023 với lý do độ chính xác thấp. Với giảng viên, biên tập viên, nhà tuyển dụng, điều này có nghĩa là cần thay đổi cách đánh giá chứ không chỉ thay đổi công cụ kiểm tra. Bài này giải thích máy dò hoạt động thế nào, vì sao nó sai, và những cách đánh giá đáng tin hơn.
Máy dò hoạt động dựa trên điều gì
Phần lớn công cụ phát hiện dựa trên một quan sát: mô hình ngôn ngữ sinh văn bản bằng cách chọn token có xác suất cao, nên văn bản của nó thường dễ đoán hơn văn bản người viết khi đo bằng chính một mô hình ngôn ngữ. Đại lượng đo mức dễ đoán gọi là perplexity (độ bối rối): perplexity thấp nghĩa là mỗi từ đều nằm trong số lựa chọn hợp lý nhất. Đại lượng thứ hai hay được nhắc là "burstiness" — mức dao động độ dài và độ phức tạp giữa các câu; người viết thường xen câu dài câu ngắn thất thường hơn.
Một nhóm phương pháp khác huấn luyện bộ phân loại trên tập văn bản người viết và văn bản AI, để nó học các đặc trưng phân biệt. Nhóm thứ ba, như DetectGPT (Mitchell và cộng sự, 2023), dựa vào quan sát rằng văn bản do mô hình sinh thường nằm ở "đỉnh" xác suất của mô hình: chỉnh sửa nhỏ làm xác suất giảm rõ, trong khi với văn bản người viết thì không có quy luật đó.
Tất cả đều là suy luận thống kê từ đặc điểm bề mặt của văn bản. Không phương pháp nào "nhìn thấy" văn bản được tạo ra như thế nào. Điều đó quyết định giới hạn của chúng.
Vì sao máy dò sai: năm giới hạn có cơ sở
Văn bản người viết cũng có thể dễ đoán. Văn phong hành chính, báo cáo theo mẫu, bài viết của người học ngôn ngữ dùng từ vựng phổ thông, văn bản kỹ thuật chuẩn hoá đều có perplexity thấp. Máy dò dễ gắn nhãn AI cho chúng.
Thiên lệch với người viết không bản ngữ. Nghiên cứu của Weixin Liang và cộng sự (2023, đăng trên tạp chí Patterns) cho thấy nhiều máy dò phổ biến gắn nhãn AI cho tỷ lệ lớn bài luận tiếng Anh của người học tiếng Anh như ngoại ngữ, trong khi bài của học sinh bản ngữ ít bị gắn nhãn hơn hẳn. Với người Việt viết tiếng Anh, đây là rủi ro trực tiếp.
Dễ bị qua mặt. Diễn đạt lại bằng một công cụ khác, chỉnh vài câu bằng tay, yêu cầu mô hình viết với văn phong thất thường hơn là đủ làm giảm mạnh xác suất bị phát hiện. Máy dò vì vậy bắt được người dùng AI vụng về, bỏ sót người dùng khéo.
Văn bản lai không có ranh giới rõ. Bài do người viết rồi nhờ AI sửa ngữ pháp, hoặc AI viết nháp rồi người viết lại phần lớn, nằm ở đâu trên thang "người – máy"? Máy dò trả một con số, nhưng câu hỏi thật sự là mức độ và cách sử dụng có được phép không.
Chạy đua với mô hình mới. Máy dò được hiệu chỉnh trên đầu ra của các mô hình đã có. Mô hình mới, văn phong khác, có thể làm giảm hiệu quả cho tới khi máy dò được cập nhật.
Tỷ lệ báo nhầm nhỏ vẫn là vấn đề lớn: một phép tính
Nhà cung cấp máy dò thường quảng bá độ chính xác cao. Nhưng khi áp dụng cho số lượng lớn bài viết, ngay cả tỷ lệ báo nhầm nhỏ cũng tạo ra nhiều người bị nghi oan. Ví dụ giả định với một khoa chấm một nghìn bài tiểu luận:
| Giả định | Giá trị |
|---|---|
| Tổng số bài | 1.000 |
| Tỷ lệ bài thật sự do AI viết phần lớn | 10% → 100 bài |
| Độ nhạy của máy dò (bắt đúng bài AI) | 90% → 90 bài bị gắn nhãn đúng |
| Tỷ lệ báo nhầm trên bài người viết | 3% của 900 bài → 27 bài bị gắn nhãn oan |
| Tổng số bài bị gắn nhãn AI | 117 bài |
| Xác suất một bài bị gắn nhãn thật sự do AI viết | 90 / 117 ≈ 77% |
Nghĩa là trong ví dụ giả định này, gần một phần tư số bài bị gắn nhãn là oan, dù máy dò có số liệu quảng bá nghe rất tốt. Nếu tỷ lệ báo nhầm cao hơn với nhóm sinh viên viết bằng ngoại ngữ, tỷ lệ oan trong nhóm đó còn lớn hơn. Đây là bài toán xác suất có điều kiện quen thuộc trong xét nghiệm y khoa: giá trị dự báo dương phụ thuộc mạnh vào tỷ lệ nền.
Watermark: lời giải từ phía mô hình
Thay vì đoán từ văn bản, một hướng khác là để chính mô hình đánh dấu đầu ra. Kirchenbauer và cộng sự (2023) đề xuất một sơ đồ watermark cho mô hình ngôn ngữ: tại mỗi bước sinh, tập từ vựng được chia ngẫu nhiên theo một khoá bí mật thành danh sách "xanh" và "đỏ", và mô hình được đẩy nhẹ về phía từ xanh. Người đọc không nhận ra khác biệt, nhưng ai có khoá có thể kiểm tra thống kê xem văn bản có chứa quá nhiều từ xanh hay không.
Watermark có ưu điểm về nguyên lý: kết luận dựa trên một tín hiệu được cài chủ đích, với xác suất báo nhầm tính được. Nhưng nó có giới hạn thực tế. Nó chỉ hoạt động nếu nhà cung cấp mô hình bật và công bố công cụ kiểm tra; mô hình mã nguồn mở có thể chạy không watermark; và diễn đạt lại hoặc dịch sang ngôn ngữ khác làm yếu tín hiệu. Văn bản ngắn cũng không đủ token để kiểm thống kê tin cậy.
Với hình ảnh và video, các tiêu chuẩn gắn thông tin nguồn gốc vào tệp (như C2PA) đang được nhiều hãng áp dụng, nhưng siêu dữ liệu này có thể bị gỡ khi chụp màn hình hoặc chuyển đổi tệp. Sự vắng mặt của nhãn nguồn gốc không chứng minh nội dung do người tạo.
Đánh giá công bằng khi nghi ngờ bài viết dùng AI
Với giảng viên và người quản lý, câu hỏi thực tế là làm gì khi nghi ngờ. Quy trình dưới đây giảm rủi ro kết luận oan và tập trung vào điều quan trọng thật sự là người viết có nắm nội dung không:
- Đặt quy định trước: nêu rõ trong đề cương hoặc quy chế mức sử dụng AI được phép cho từng loại bài, và cách khai báo khi có dùng.
- Coi kết quả máy dò là tín hiệu, không là bằng chứng: không xử lý chỉ dựa trên một con số phần trăm.
- Tìm dấu hiệu khách quan: trích dẫn không tồn tại, dữ kiện bịa, nội dung lạc đề so với yêu cầu cụ thể của bài, văn phong khác hẳn các bài trước của cùng người.
- Trao đổi về nội dung: mời người viết giải thích lập luận, nguồn đã dùng, quá trình viết. Người nắm nội dung trả lời được dù có dùng AI hỗ trợ diễn đạt.
- Xem lịch sử phiên bản nếu có: bản nháp, ghi chú, lịch sử chỉnh sửa trong trình soạn thảo cho thấy quá trình làm việc.
- Ghi nhận và xử lý theo quy chế: với trường hợp vi phạm rõ, xử lý dựa trên tổng hợp bằng chứng, có quyền giải trình.
Về dài hạn, nhiều cơ sở giáo dục chuyển trọng tâm sang thiết kế đánh giá khó giao trọn cho AI: bài gắn với dữ liệu hoặc trải nghiệm riêng, thuyết trình và vấn đáp, nộp kèm quá trình làm, làm bài tại lớp. Đó là cách giải quyết bền vững hơn chạy đua với máy dò.
Hiểu lầm phổ biến và thực tế
"Máy dò báo 98% là AI nghĩa là có 98% khả năng bài do AI viết." Con số đó thường là điểm số tin cậy của bộ phân loại, không phải xác suất hậu nghiệm cho một bài cụ thể. Như phép tính ở trên cho thấy, xác suất thật phụ thuộc vào tỷ lệ nền và tỷ lệ báo nhầm, những thứ con số hiển thị không phản ánh.
"Dùng hai ba máy dò cùng kết luận thì chắc chắn." Các máy dò dựa trên đặc trưng thống kê tương tự nhau, nên sai số của chúng có tương quan: văn bản dễ đoán bị máy này gắn nhãn thì cũng dễ bị máy khác gắn nhãn. Nhiều máy đồng ý không phải là nhiều bằng chứng độc lập.
"Văn bản tiếng Việt khó bị phát hiện hơn nên máy dò ít báo nhầm hơn." Hiệu năng của máy dò trên tiếng Việt ít được đánh giá công khai so với tiếng Anh. Thiếu dữ liệu đánh giá nghĩa là không biết tỷ lệ báo nhầm, không phải tỷ lệ đó thấp.
"Bài viết hay, trôi chảy quá thì chắc là AI." Người viết giỏi, người được biên tập kỹ, người dùng công cụ sửa ngữ pháp đều tạo ra văn bản trôi chảy. Dựa vào cảm nhận về chất lượng để nghi ngờ là phạt người viết tốt.
Ở doanh nghiệp và tòa soạn: câu hỏi nên đặt khác đi
Trong môi trường làm việc, câu hỏi "văn bản này có phải do AI viết không" thường kém hữu ích hơn câu hỏi "văn bản này có đúng, có đạt chất lượng, có vi phạm quyền của ai không". Một báo cáo do nhân viên viết hoàn toàn bằng tay vẫn có thể sai số liệu; một bản nháp AI được kiểm kỹ có thể hoàn toàn đạt.
Với tòa soạn và đơn vị xuất bản, mối quan tâm chính đáng hơn là minh bạch với người đọc và trách nhiệm biên tập: nội dung nào có AI tham gia, ở khâu nào, ai kiểm chứng. Nhiều cơ quan báo chí quốc tế đã công bố hướng dẫn nội bộ theo hướng này — cho phép AI hỗ trợ ở một số khâu, yêu cầu con người chịu trách nhiệm cuối cùng và kiểm chứng mọi dữ kiện.
Với tuyển dụng, thư xin việc được AI chỉnh sửa đã trở nên phổ biến, nên giá trị phân loại của chính văn bản giảm. Bài kiểm tra kỹ năng có giám sát, phỏng vấn tình huống, sản phẩm mẫu có thể trao đổi chi tiết là cách đánh giá năng lực đáng tin hơn chạy thư xin việc qua máy dò.
Câu hỏi thường gặp
Có dấu hiệu văn phong nào chắc chắn cho thấy văn bản do AI viết không?
Không có dấu hiệu chắc chắn. Một số cụm từ, cấu trúc liệt kê đều đặn, giọng trung tính quá mức hay gặp ở văn bản AI, nhưng người viết cũng dùng chúng, và AI có thể được yêu cầu tránh chúng. Văn phong chỉ nên là lý do để xem xét thêm, không phải căn cứ kết luận.
Kiểm tra đạo văn truyền thống có phát hiện được văn bản AI không?
Thường không, vì văn bản AI là chuỗi chữ mới chứ không sao chép nguyên văn từ nguồn có sẵn. Công cụ kiểm tra trùng lặp vẫn hữu ích để phát hiện sao chép, và đôi khi AI tái tạo gần nguyên văn đoạn văn phổ biến, nhưng đó là ngoại lệ.
Người viết bị máy dò gắn nhãn oan nên làm gì?
Cung cấp bằng chứng quá trình viết: bản nháp, ghi chú, lịch sử chỉnh sửa, tài liệu đã đọc. Đề nghị được trao đổi trực tiếp về nội dung bài. Có thể dẫn các nghiên cứu và tuyên bố công khai về giới hạn của máy dò, và yêu cầu được xem xét theo quy chế có quyền giải trình.
Dùng AI sửa ngữ pháp có bị coi là gian lận không?
Tuỳ quy định của từng cơ sở và từng bài. Nhiều nơi phân biệt giữa hỗ trợ ngôn ngữ, giống công cụ kiểm tra chính tả, với việc giao AI tạo nội dung và lập luận. Cách an toàn là đọc quy định, hỏi khi không rõ, và khai báo việc sử dụng khi được yêu cầu.
Các tạp chí khoa học quy định gì về dùng AI khi viết bài?
Xu hướng chung của các nhà xuất bản lớn là AI không được đứng tên tác giả vì không thể chịu trách nhiệm, tác giả phải khai báo việc dùng AI trong phương pháp hoặc phần ghi nhận, và chịu trách nhiệm toàn bộ nội dung. Quy định cụ thể khác nhau, nên cần đọc hướng dẫn tác giả của tạp chí định nộp.