“廣州即將成為全國首個限制外賣配送的水軍城市”登上網絡熱榜，經查系網民利用AI造謠；有人利用“AI去衣”軟件制作淫穢物品販賣獲利，造謠被處以行政拘留……

隨著AI技術的亂象流量發展，不法分子為了牟利、調查低博當賺引流，批量利用“AI生成圖文”“AI換臉”“AI脫衣”工具作案愈演愈烈。生成收益南都、成本N視頻記者調查發現，水軍給出相應指令后，造謠一些AI工具就能快速批量擴寫出不同的亂象流量故事文案，有的調查低博當賺每個月會員費只要99元，充值一年還能打五折。批量“深度偽造”技術幾年前已被曝光，生成收益如今在網購平臺仍可找到“AI換衣”“AI換臉”類工具，成本只是水軍搜索路徑更為隱蔽。

“生成式人工智能帶來了深刻的技術變革，我們要積極地擁抱新技術，也要及時認識到并改善技術使用過程中出現的問題。”對外經濟貿易大學數字經濟與法律創新研究中心主任許可，向南都記者分析道。

調查：下指令可批量生成謠言

近期，公安部公布了10起打擊整治網絡謠言違法犯罪典型案例。其中，有網民發布“廣州即將成為全國首個限制外賣配送的城市”的消息，迅速形成網絡熱搜。

經查，四川德陽網民楊某組織招攬廣東江門網民葉某英等多名兼職人員，使用人工智能工具批量生成不實文章引流牟利。最終，6人被警方采取刑事強制措施。

這些案例中，能批量生成不實文章的AI工具為犯罪團伙“蹭熱度”引流帶來便利，加快了謠言的生產。這些工具獲取是否有難度？有哪些功能？南都記者進行了實測。

去年，浙江警方摧毀一利用ChatGPT制作虛假視頻的造謠團伙。

除了ChatGPT等常用人工智能工具，南都記者通過關鍵詞搜索，在網絡上發現許多“AI洗稿”“偽原創生成器”“AI寫作”等網站、小程序，其功能多樣，能滿足創作公眾號文章、視頻腳本、小紅書文案、文章標題等需求，還有文章續寫、內容改寫潤色、圖片生成文字等功能。

南都記者隨機點進一個“AI文案速寫”的小程序中，在對話框內輸入創作有關“搶劫”“霸凌”“火災”3個主題內容的詳細指令，就快速得到3段被擴寫至100字左右不同故事情節的文案，其中還有一些生動的細節。

南都記者要求圍繞同一話題寫出10段文案時，該平臺快速給出不同角度的文案，包括事件本身、社會呼吁等。

在另一個AI網站中，南都記者輸入兩句話指令后，該平臺快速生成了一篇較長的公眾號文章，且還有繼續輸入指令改寫文章的功能。

值得注意的是，也有平臺對敏感內容創作，設置了提示。

一款“AI文案”小程序在接到寫有關霸凌事件文案的指令時提示“不能提供可能宣傳暴力或不當行為的內容”。

那么，在造謠過程中，這些AI工具的提供者是否需要承擔法律責任？

“在技術運用上，永遠存在善、惡兩種使用方式。法學上很早就提出了技術中立性的主張。”對外經濟貿易大學數字經濟與法律創新研究中心主任許可告訴南都記者。

他也指出，還要從研發者的角度判斷，其生產該工具是否有特定用途或目的。如果研發者明知使用者要利用AI工具生成傳播謠言，卻仍選擇推廣，甚至放任謠言生成，那么技術中立的主張就不合適了。

對于已普遍應用的主流AI工具，如被用于造謠等違法行為，則要根據謠言性質、生成過程等，讓服務提供者承擔相匹配的責任，例如要求進一步其提升平臺管控能力，保證避免生成有害信息等。

實測：網上開源或免費工具多

“隨著技術快速發展，相對于生成視頻圖片，純文本大模型的技術難度較低，生成文本也是非常基礎的功能，例如給定一個框架讓AI批量生成內容，速度是非常快的。”中國計算機學會計算機安全專業委員會數字經濟與安全工作組成員方宇告訴南都記者。

方宇表示，犯罪分子利用AI工具生成謠言的成本相對較低，其可以利用現成的技術和平臺進行操作，如今存在不少開源或免費的工具。

其主要成本可能包括獲取工具的費用、運行工具所需的計算資源費用以及維護費用。但在國內外的大模型算法逐步開源的情況下，一些AI工具的研發成本也降低了。

南都記者調查發現，在網絡上，AI創作工具泛濫，有收費、有免費。

有博主在某一篇關于AI創作的公眾號文章中留下微信號，邀請“想借助AI創業、賺錢”的讀者添加微信。

南都記者添加所留微信號后，對方發來一個有文本生成功能的AI工具，但要充值使用，會員費每月99元，12個月699元。

南都記者詢問博主是否為原創研發工具，對方卻表示“是我們與原創合作”。該款AI小程序對話框頂部有訊飛星火等多個人工智能模型可供選擇。

“技術的應用場景需要有一定的邊界，同時要輔以必要的監管。”方宇介紹，2023年7月，中央網信辦發布了《關于加強“自媒體”管理的通知》，強調要規范信息來源標注、加強信息真實性管理、完善謠言標簽功能等。

“這意味著未來利用AI工具生成謠言的成本可能會因更嚴格的監管而增加，有助防范謠言的制造和傳播，避免對社會造成負面影響。”

他表示，這些政策文件的出臺表明，監管機構已經意識到，利用AI工具進行內容生成的簡單性及其帶來的問題。但是實現有效監管還需付出更多的成本和努力。

生意：博流量當“水軍”引流賺錢

南都記者發現，除了文字，一些犯罪分子還通過AI編輯視頻、圖片等以假亂真，混淆視聽。

廣西一男子制作假地震消息誤導公眾。

1月23日，廣西一男子為博取流量吸引粉絲，將其他地區的抗洪、救災視頻，利用AI軟件自動編輯功能，嫁接新疆烏什縣發生地震的虛假視頻信息。

視頻被大量播放，并引發許多不明真相網民評論和轉發，嚴重干擾社會秩序。這名男子也被警方處罰。

在湖南，一網民發布一條帶有警徽的《懸賞通告》，稱長沙天心區發生重大刑事案件，擬向公眾有償征集線索。

原來，這張《懸賞通告》也是AI偽造而成，目的是吸粉引流。該網民同樣受到了警方處罰。

從利用AI生成不實內容，到在網絡發布擴散，最終實現為賬號引流牟利的目的，不難看出，運營造謠賬號的背后仍是不法分子想當“網紅”或從中獲利的貪心，但層出不窮的謠言卻影響了正常的社會秩序。

根據警方披露案例，從組織結構上看，造謠“生意”大致分兩種類型：個人運營自媒體造謠賬號，吸粉引流變現；亦有團伙作案，批量運營自媒體賬號，大規模散布謠言，例如有不法分子成立MCN機構運營數百個賬號，長期組織公司人員造謠引流。

如何實現牟利？浙江警方去年偵破的一起利用AI制作虛假視頻造謠案件中，造謠團伙博取流量后，通過流量算法返款盈利。有犯罪嫌疑人稱，通過發布視頻、文章等，有閱讀量就會給收益。

南都記者發現，還有造謠者為賺取傭金，利用手機軟件的AI題詞功能寫文章，在某App上參加發布作品活動，只要播放量達到獎勵標準，就能賺到“零花錢”。

通過借社會熱點事件編造傳播網絡謠言，一些自媒體從業人員實現吸粉引流、賺取平臺補貼、增加廣告收入以及帶貨牟利。

AI能否助力引流？方宇介紹，即使不利用AI，一些非法為賬號提供“刷贊”“刷評論”的“網絡水軍”也正成為引流的工具。“但AI確實可以在擴散謠言中起到推波助瀾的作用，讓謠言傳播過程更加自動化、隱蔽化。”

方宇說道，尤其是，AI算法可以根據用戶的行為和偏好定制內容，增加其吸引力和說服力，從而更有效地吸引流量和關注，“有句話是說，AI可能比你自己更加了解你”。

“目前監管機構、平臺方正在努力，通過更有效的技術和管理措施，來識別和阻止這類行為，降低AI工具在這一方面的負面影響。”方宇向南都記者表示，有關部門還需要提高公眾的識別能力，以減少謠言的傳播和影響，例如發現謠言能及時舉報等。

侵權：“AI換衣”等造“黃謠”仍不止

隨著AI技術的深度發展，“AI換臉”“AI脫衣”工具變得常見。一些不法分子將歪主意打到了造“黃謠”，甚至威脅、詐騙上。

4月19日，北京市海淀區人民法院審理了一起使用“AI去衣”軟件制作淫穢物品案。

被告人通過互聯網發布“AI去衣”廣告，將他人提供的承載人臉信息的不特定多數女性圖片，通過深度偽造技術、AI軟件制作成裸體圖片販賣牟利，同時出售“AI去衣”軟件及使用教程牟利。

今年1月，貴陽市花溪區一女子在某短視頻平臺直播帶貨的照片，被人截圖后將上半身換成裸照，在網絡傳播。

經調查，家住廣西玉林市的謝某，將該主播的直播截圖上傳到一款AI繪圖軟件，使用局部改圖功能合成了該主播上身赤裸的照片，又將合成的裸照打上馬賽克之后轉發到微信群內，照片被多人轉發。隨后，謝某被警方抓獲并被處以行政拘留處罰。

網購平臺能找到“AI換衣”工具。

近日，南都記者搜索網購平臺發現，仍有少量“AI換衣”“AI換臉”類工具售賣，只是搜索路徑更為隱蔽。一些店鋪隱晦地將“去衣”表述為“去一”等同音字。

南都記者點擊進入一個僅售1.9元的AI工具的鏈接，發現雖未寫明“換臉”，但有“換服裝”“一鍵完成照片視頻處理”等字樣。在客服發來的收貨內容中，既有“去一”也有“換lian”。

另一家銷售“一鍵換衣軟件”的網店內，有兩款價格不同、但介紹相似的AI換衣工具，分別售價8元、15元左右。

對此，客服解釋稱，便宜的工具是“換”衣，貴一點的工具是“去yi”。還有一家網店用名稱“上半升趣一”暗示工具功能。

實際上，“AI換臉”“AI脫衣”此前已被曝光。

2021年，南都記者調查發現，深度偽造及類似的合成技術的濫用已催生了一批黑灰產：有賣家出售破解版換臉軟件，并打包出售通過換臉軟件制作的女明星淫穢視頻；短視頻平臺“假靳東”事件后，仍有假冒“東哥”賬號在平臺活躍。

“AI換臉、換衣技術已經相當成熟，如深度偽造，可以生成逼真的視頻、圖片。”近日，方宇向南都記者介紹，這些技術也被不法分子用于造謠，甚至進行詐騙等。

從技術上來看，可通過一些專業的檢測手段進行真偽分析，一些常見的辨別方法包括檢查圖像或視頻中的不一致性，如異常的光影效果、物體的不自然變形等。專業軟件和工具也可以通過分析圖像的元數據和像素模式來檢測偽造。

方宇也指出，如今AI技術進步很快，這些檢測方法也無法給出絕對的結論，只能作為參考。

“但監管機構和平臺也正采取措施提高公眾的識別能力。”方宇表示。據2023年8月15日起施行的《生成式人工智能服務管理暫行辦法》，明確生成式人工智能服務提供者應當按照《互聯網信息服務深度合成管理規定》對圖片、視頻等生成內容進行標識，發現違法內容應當及時采取處置措施等。

治理：明確“標識”義務

無論技術如何發展，針對網絡謠言的打擊整治從未間斷。

2023年12月以來，公安部部署全國公安機關統一開展打擊整治網絡謠言專項行動。截至2024年4月12日，公安機關累計排查網絡謠言線索8萬余條，偵辦網絡謠言類案件1萬余起，抓獲犯罪嫌疑人1500余名，行政處罰10700余人，開展公開辟謠等4200余次。

公安機關堅持打防管控一體推進，聚焦社交媒體、直播和短視頻等重點平臺開展執法檢查，查處整治9800余家次，清理網絡謠言信息73.5萬余條，關停違法違規賬號6.3萬個；指導互聯網平臺企業嚴格落實網絡安全管理主體責任，堅決查處不履行主體責任和義務的平臺，行政處罰網站平臺590余次。

生成式人工智能的相關法規也陸續出臺。

許可向南都記者介紹，在提升技術的透明性方面，已出臺有關規定明確了AI服務提供者的“標識”義務。他進一步解釋，“可以通過對生成內容進行顯式標識或隱式標識，做好安全提示以及事后追責。”

2023年9月，最高人民法院、最高人民檢察院、公安部印發《關于依法懲治網絡暴力違法犯罪的指導意見》，指出對實施網絡暴力違法犯罪，包括利用“深度合成”等生成式人工智能技術發布違法信息等情形，依法從重處罰。

方宇認為，除了監管與執法，還可以從加強技術防范、公眾網絡安全教育、鼓勵行業自律、開展國際合作、激勵社會共治等角度入手開展治理。

“AI技術本身是中性的，它的應用取決于使用者的目的和行為。”方宇表示，正確使用AI技術可以帶來許多積極的變化，如提高工作效率、改善生活質量等。然而，濫用AI技術進行違法行為，如制造和傳播謠言，是需要堅決打擊和防范的。

他注意到，有關部門正在采取一系列措施來應對利用AI工具生成和傳播謠言的問題。他認為，這也提醒了技術開發者和使用者，必須在遵守法律法規的前提下使用AI技術，避免對社會造成不良影響。

“生成式人工智能帶來了深刻的技術變革，我們要積極地擁抱新技術，也要及時認識到并改善技術使用過程中出現的問題。”許可說道。

他認為，如今AI造謠的亂象頻發，也有大眾對該情況不了解的原因。當人們認識到該問題后，辨別能力也會有所提升。

“我覺得從長期來看，工具的變化背后是人的變化，當人的能力與工具的發展相匹配，最終會解決這些問題。”