生成式AI普及之後，寫作這件事變得有些微妙。過去人們問“寫得好不好”，現在多了一個問題“這到底是不是人寫的”？AI檢測器正是在這樣的需求下，進入了人們的視野。它們分析文字中的語言特徵，試圖判斷文本更像是人寫的，還是機器生成的。
　　
美國《連線》雜誌近日報導，作家米婭·巴拉德的小說《Shy Girl》曾被AI檢測公司Pangram判定為78%由AI生成。但巴拉德否認使用AI寫作。隨後，出版商Hachette取消了這本書在美國的出版計畫。
　　
如今，Pangram、GPTZero等AI檢測產品已經進入出版社、學校和科研機構。一個原本用於輔助判斷的技術，正在越來越多地參與實際決策。
　　
AI檢測器正變得更準確
　　
早期AI檢測主要依賴困惑度和突發性。困惑度衡量一段文字對語言模型來說有多“意外”，如果下一個詞很容易預測，困惑度通常較低。突發性則關注句子長短、結構等變化。人類寫作往往長短錯落、起伏轉折，AI則偏愛整齊劃一、千篇一律。
　　
但這種方法漏洞很明顯。一個文風嚴謹的學者，或者一個英語不夠流利的非母語者，寫出來的東西很容易被誤判成AI。因此，一些高校一度停止或限制使用AI檢測工具。
　　
隨著大模型的發展，以Pangram為例，它用海量人類文本和AI文本訓練模型，還讓AI自己生成與真實文本相似的“鏡像文本”，專門挑那些容易被誤判的樣本反復訓練。Pangram 4的技術報告顯示，在它們的測試數據裏，英文文本的誤判率降到了0.0041%。《自然》雜誌也提到，今年7月Epoch AI測試了495篇純人類寫的文章，沒有發現Pangram出現誤判。
　　
不過，這些數據主要來自企業自己的測試，第三方獨立評估還不夠。同時，檢測模型和生成模型都在快速迭代，今天表現良好的模型，明天可能就會面臨新的挑戰。檢測器給出的數字，不能直接當作事實。
　　
“96% AI”不等於96%由AI寫成
　　
《自然》雜誌曾拿Frontiers出版社科研誠信總監埃琳娜·維卡裏奧的一篇文章去作檢測。維卡裏奧表示，文章初稿和想法完全由自己完成，只在修改過程中讓AI潤色了一下，之後又經過了人工編輯。然而，Pangram舊版本將這篇文章判定為100% AI生成，升級後的Pangram 4仍給出了96% AI的比例。
　　
但這裏的“96% AI”，並不是說文章中96%的內容都是AI完成的。檢測器給出的“AI比例”，與作者實際使用AI的程度，並不是一回事。
　　
Pangram解釋稱，“100% AI”並不是說文章中的每一個詞都是AI寫的。系統會把文章切分成不同片段，分別判斷這些片段更接近AI、人類還是兩者混合，再根據這些判斷計算整體比例。因此，“96% AI”更準確的含義是，檢測器認為這篇文本具有很強的AI生成特徵，而不是認定作者有96%的內容由AI完成。
　　
今天的寫作早已不是“人寫”與“AI寫”的二元對立。一位作者可能獨立完成初稿，僅用AI修改措辭；也可能讓AI生成框架，再逐段重寫；還可能經過翻譯、潤色、人工修訂等多道工序。然而，從檢測器的視角看，這些參與程度完全不同的寫作方式，最終產出的文本卻可能呈現相似的AI特徵。
　　
檢測結果本身也並非完全穩定。《自然》的測試發現，同一段文字，單獨檢測和放在完整文章中檢測時，分數可能不一樣。《連線》的測試也發現，對文本進行一些修改後，檢測分數可能隨之改變。
　　
一場沒有終點的“貓鼠遊戲”
　　
檢測器在升級，規避檢測的方法也在更新。市面上已經出現了專門的人性化改寫工具，能把AI寫的句子重新組織一遍，換上更自然的詞，調整表達節奏，目的就是讓檢測器認不出來。研究顯示，經過這種處理的AI文本，漏檢率會明顯上升。
　　
讓AI模仿某個具體作者的風格，也是一條路徑。非營利研究機構Epoch AI的一項獨立評估發現，當AI被要求模仿特定作者的寫作風格時，部分生成文本能夠繞過檢測。
　　
語言差異也增加了這種不確定性。一些非英語母語者使用AI翻譯或潤色後，文章反而更容易被判成AI生成。Pangram新版模型對此有所改善，但檢測結果仍可能受到語言背景和文本類型影響。
　　
生成模型和檢測模型，就這麼你追我趕，誰也停不下來。生成模型想方設法學著“說人話”，檢測模型就拼命尋找哪里還露出馬腳。檢測器更新之後，新的改寫工具或許又會出現。
　　
檢測器應是指南針而非判決書
　　
對於學校、出版社和科研機構來說，檢測器更適合承擔“篩查”的角色。對於學校、出版社和科研機構而言，判斷一篇文章是否違規使用AI，還需要結合具體的使用情況。
　　
據《自然》雜誌報導，美國癌症研究協會已經使用Pangram檢查同行評議。一名審稿人因檢測結果異常受到詢問後，承認自己在評審意見中使用了AI。這樣的案例說明，檢測器確實可以幫助機構發現異常，但從“發現異常”到“確認違規”，中間仍然需要人的判斷。
　　
Pangram也建議，在處理AI學術誠信問題時，應結合草稿、筆記、修改記錄和寫作過程等資訊，而不能只看檢測分數。
　　
檢測器可以告訴人們一段文字像不像AI生成，卻無法僅憑一個數字還原真實的寫作過程。隨著AI和檢測技術繼續發展，這個邊界可能還會不斷變化。

來源：科技日報