近年來，生成式人工智能技術被廣泛應用，在為人們提供便利的同時，也讓造謠者有了可乘之機。近期就有多起AI生成謠言在網(wǎng)絡廣泛傳播，誤導公眾認知，破壞網(wǎng)絡環(huán)境。

今年11月28日網(wǎng)友上傳的一段視頻，一名模特在展出的車輛旁邊，衣著暴露，且做出不雅動作。而當天車企并沒有安排模特為車輛宣傳，車企選擇報警。

12月10日，廣州警方通報：“車展不雅視頻”事件：李某為炫耀個人技術用AI生成虛假視頻，被行拘10日。

珠峰裝電梯、長城貼瓷磚、黃河設玻璃護欄是近幾年出現(xiàn)的典型的網(wǎng)絡謠言。不過最近，網(wǎng)絡上珠峰裝電梯視頻依靠AI生成工具，制作得更加精良，再次席卷而來。

內(nèi)容雖然荒唐，但是因為傳播廣泛，官方緊急辟謠，西藏相關部門稱，目前珠峰暫無安裝電梯計劃，網(wǎng)傳圖文視頻為AI生成的虛假信息。部分營銷號利用AI偽造西藏各類打卡景點的虛假圖文視頻，用虛假話術吸引流量，提醒網(wǎng)民切勿相信此類謠言。

明確所有AI生成內(nèi)容都要“亮明身份”

以上這些利用AI生成的謠言視頻，效果都達到了“以假亂真”的程度，而且在發(fā)布傳播的過程中，都沒有標注AI生成標識，其結果就是，給網(wǎng)友錯覺認為這是真的。

事實上，今年9月1日起，《人工智能生成合成內(nèi)容標識辦法》正式施行，明確所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”，標注AI生成的標識。通常人工智能生成的視頻或者圖片以及文字標識問題，涉及三個主體：AI生成工具，信息發(fā)布和發(fā)布信息的平臺，每一個環(huán)節(jié)都應標注。

如何“打上”AI生成標識？總臺記者演示

總臺記者也針對AI生成標識的標注進行了演示。

總臺央視記者 崔世杰：我給AI工具一個提示，讓他用雪山、湖泊和老虎制作一張圖片，AI給的圖片是這樣的。這張圖就是典型的人工智能生成的圖片，AI標識在哪里呢，在圖片的左上角寫有AI生成字樣，如果下載到手機中，標識會到右下角。

信息發(fā)布者如何在自己的發(fā)布的信息中打上AI制作的標識呢？以視頻號為例，打開已經(jīng)發(fā)布的信息，在下邊找到這個箭頭標記，點開，找到視頻標注的選項點擊，這里有幾個選項、內(nèi)容為AI制作、內(nèi)容為虛構劇情，點AI制作。再看視頻下方會有一行字，作者提示，內(nèi)容為AI技術制作。

一些人為了博眼球將AI生成標識二次加工給去掉，發(fā)到平臺上。這時候作為謠言散布的最后守門員，平臺就要去識別，并且打上標識。刷短視頻時一定看到過這樣的文字，在視頻下方寫著內(nèi)容可能使用了AI圖像編輯技術，請注意甄別。這行字就是平臺識別判斷后加上去的。

平臺如何檢測AI生成內(nèi)容？為何有漏網(wǎng)之魚？

有了法律法規(guī)，技術上也會進行標注提示，為何網(wǎng)絡平臺還會出現(xiàn)此類謠言視頻？記者走訪了視頻平臺和AI生成研究團隊，來看看為何會有部分AI生成謠言成為漏網(wǎng)之魚，進而誤導網(wǎng)友。

相關數(shù)據(jù)顯示，短視頻平臺面對的是每天以億為單位的網(wǎng)民上傳的內(nèi)容。

某平臺生態(tài)運營經(jīng)理 陳詠月：目前，平臺對AI生成內(nèi)容的審核采用的是機審和人審相結合的方式，也在不斷強化識別能力。具體來說，平臺通過收集樣本，利用AI能力，訓練了多個對AIGC內(nèi)容識別的模型，來識別一條視頻內(nèi)容是否是AI制作的。

那么具體AI識別工具在識別是否為AI生成的作品時，會留意哪些方面呢。

中國計算機學會計算機安全專委會執(zhí)行委員 潘季明：首先是針對文本的統(tǒng)計特征分析技術，尋找AI寫作過于平穩(wěn)、缺乏人味的“機器指紋”。其次是基于深度學習模型的檢測技術，通過對特定生成算法的缺陷進行識別，分析像素和頻域中存在的AI生成偽影，如紋理重復或特定圖案。第三是多模態(tài)融合檢測技術，利用大模型的通用理解能力來捕捉跨模態(tài)、高級語義上的不一致來實現(xiàn)。

不過平臺和專家也坦言，現(xiàn)在的AI工具的識別能力，還無法做到完全準確，其主要原因AI生成工具在不斷成熟，而AI識別工具始終處于追趕狀態(tài)。這讓AI謠言類信息未被檢測出來難以避免。

陳詠月：但是技術在不斷發(fā)展，模型識別的結果并不一定完全準確。

潘季明：現(xiàn)在主流的檢測技術主要面臨三大困難。一是存在理論瓶頸，隨著AI模型能力不斷增強，其輸出的統(tǒng)計特征越來越接近人類高質(zhì)量作品，導致理論上僅靠統(tǒng)計指標已無法區(qū)分，也就是概率分布重疊。其次是文本只需簡單潤色或同義詞替換；圖像只需壓縮或截圖就能破壞水印或偽影，使檢測器失效。第三是泛化性不足，檢測器通常是針對舊模型訓練的，面對新的、未見過的AI生成模型，檢測效果會顯著下降，導致檢測始終處于“滯后”狀態(tài)。

AI提供者創(chuàng)作者及平臺應共同防范AI濫用

專家表示，防范AI濫用不僅是識別工具技術更新問題，同時也要加速建立“數(shù)字信任生態(tài)體系”。

陳詠月：AI濫用的治理是個系統(tǒng)性工程，網(wǎng)絡黑灰產(chǎn)為了利益也會進行技術升級，還會有更多的技術對抗。所以對AI濫用的治理仍然需要AI服務提供者、創(chuàng)作者、內(nèi)容傳播平臺、廣大用戶共同努力。

潘季明：通過深化利用多模態(tài)融合分析、動態(tài)對抗訓練技術以及區(qū)塊鏈存證追溯等技術，結合內(nèi)容標識法規(guī)、行業(yè)統(tǒng)一的檢測標準，以及可解釋的檢測結果等治理框架，共同實現(xiàn)從被動識別到主動驗證，從局部鑒別到全局可信的識別追蹤方案。