今年2月，一位普通股民在雪球論壇看到一張AI問答截圖：“某公司已投資AI巨頭DeepSeek，股價即將暴漲！”
對于在股市中摸爬滾打、渴望抓住每一個投資機會的股民來說，這無疑是一條極具誘惑的消息。他堅信截圖中的內(nèi)容，并且興奮地跟風買入，結果次日發(fā)現(xiàn)該公司辟謠，股價反而下跌，自己遭受沉重一擊。
這樣的事情并非個例，從“某公司投資DeepSeek”到“涼山山體滑坡”，AI生成的虛假信息正以病毒式速度擴散，這背后存在一條由黑灰產(chǎn)操控的“AI謠言流水線”。
在股市里，有一種造謠者被稱為“黑嘴”。他們發(fā)布虛假信息，引誘投資者上鉤，通過養(yǎng)粉薦股后的反向操作收割機構或個人。
現(xiàn)在不少領域的“黑嘴”，就將DeepSeek、豆包等AI工具當做“白手套”。他們利用AI技術的短板，制造謠言并將其包裝成“權威答案”，再通過算法反哺形成閉環(huán)，最終收割流量與利益。
第一批用DeepSeek掘金的人，已經(jīng)在這上面栽了跟頭。
AI淪為造謠者的“嘴替”
很多虛假信息的背后，是造謠者在有組織、有計劃地進行AI造謠。
此前在DeepSeek、豆包、文心一言、Kimi等AI工具的問答中，慈星股份、華勝天成、并行科技、誠邁科技等多家公司都被描述為“DeepSeek的投資者”，但事實上這些公司都沒有參與投資。
為什么會出現(xiàn)與事實背離的情況？這跟數(shù)據(jù)投喂有直接關系。
隱藏在網(wǎng)絡背后的造謠者，會利用AI批量生產(chǎn)謠言，比如“慈星股份投資了DeepSeek”等等，堪稱流水線上的“謊言印刷機”。而且造謠者的“效率”非常高，有人一天就能制造幾千篇虛假文章，甚至還出現(xiàn)了一天生成19萬篇虛假文章的造假軟件。
然后，造謠者會操控成百上千個水軍賬號，在多個線上平臺高頻傳播這些造謠信息。他們的最終目的，是讓AI援引大量的虛假信息，充當自己的嘴替。
所以，很多人就會看到AI工具援引虛假信源，給出了錯誤答案。本來有些人對謠言是將信將疑，但看到AI給出的答案后堅信不疑，此時就落入了造謠者制造的圈套，從而栽了跟頭。有人就因為看到AI回答中有“某某投資品有潛力”等信息，誤以為發(fā)現(xiàn)了財富密碼，結果被割了韭菜。
最可怕的是，造謠者還會將AI給出的回答，再以截圖形式繼續(xù)傳播擴散，以誘導欺騙更多人。所以這些AI謠言并非單次傳播，而是“謠言—AI回答—更多謠言”的循環(huán)。這種自我強化的閉環(huán)，讓謠言像癌細胞般無限增殖。
據(jù)南都大數(shù)據(jù)研究院不完全統(tǒng)計，2024年搜索熱度較高的50個國內(nèi)AI風險相關輿情案例中，超1/5與AI造謠有關，68%的網(wǎng)民曾因AI生成的“專家解讀”“權威數(shù)據(jù)”而誤信謠言。
一名受訪者苦笑：“以前不信小道消息，現(xiàn)在連AI都撒謊，我們還能信誰？”
AI謠言帶來的破壞力是巨大的，且不限于資本市場。
前不久，“廣州法院對某汽車品牌L3級自動駕駛追尾事故作出首例判決”的謠言全網(wǎng)傳播，就對該品牌的聲譽和銷售造成打擊，損害企業(yè)利益。
在發(fā)生公共安全事故時，有人故意制造AI謠言擾亂視聽。這不僅會干擾救援節(jié)奏，還容易引發(fā)民眾恐慌。當造謠者通過收割流量，社會付出的代價其實是信任的崩塌與秩序的混亂。
AI謠言帶來的危害還是全球性的，世界經(jīng)濟論壇發(fā)布的《2025年全球風險報告》顯示，“錯誤和虛假信息”是2025年全球面臨的五大風險之一，AI的濫用是這種風險的重要推手。
那么，AI究竟是如何淪為造謠者的“嘴替”呢？
AI如何淪為造謠者的“嘴替”？
雖然AI現(xiàn)在火的發(fā)紫，更新?lián)Q代也非常快，但是仍然存在不少短板。
其中，較為突出的問題就是語料污染與AI幻覺。
AI大模型的訓練依賴海量數(shù)據(jù)，但數(shù)據(jù)的真實性卻無人擔保。中國信通院曾做過實驗，當在特定論壇連續(xù)發(fā)布百余條虛假信息后，主流AI大模型對對標問題的回答置信度，就會從百分之十幾快速飆升。
前不久，紐約大學的研究團隊發(fā)表了一項研究，揭示了大語言模型（LLM）在數(shù)據(jù)訓練中的脆弱性。他們發(fā)現(xiàn)，即使是極少量的虛假信息，只需占訓練數(shù)據(jù)的0.001%，就能導致整個模型出現(xiàn)重大錯誤，而這個過程的成本極其低廉，僅花費了5美元。
這就像在水庫中注入幾滴毒藥，就能讓水庫里的每一滴水都帶著謊言的味道，信息體系都會被破壞，堪稱污染AI的“精神投毒”。
這其實暴露了AI的致命缺陷：它很難區(qū)分“熱門帖子”和“真實信息”，只認數(shù)據(jù)權重。它像一面誠實的鏡子，但映射的可能是被篡改的世界。
有的AI為了完成邏輯自洽，甚至還會胡編亂造。
某AI工具就根據(jù)“80后死亡率5.2%”的虛假語料，輸出“每20個80后就有1人死亡”的結論。這種“一本正經(jīng)地胡說八道”，源于AI大語言模型在編造它認為真實存在甚至看起來合理的信息。它追求的是邏輯自洽，而非事實正確，這也被稱為“AI幻覺”。
看來在“開局一張圖，剩下全靠編”這件事上，AI比人類還擅長。
技術是否有罪本身是個有爭議的話題，但人性的貪婪一定是AI謠言的罪魁禍首。
傳統(tǒng)造謠需要雇傭?qū)懯郑鳤I將成本壓縮至近乎為零且效率極高，利益極為豐厚。2024年南昌警方查處某MCN機構，其負責人王某某通過AI工具每日生成虛假文章4000-7000篇，內(nèi)容涵蓋“某公司暴雷”“某地災情”等，最高峰的時候每天能生成4000-7000篇，每天收入超1萬元。
某黑產(chǎn)從業(yè)者聲稱：“用AI造謠就像開印鈔機，團隊3個人一個月能賺50萬。”更諷刺的是，他們甚至開發(fā)了“謠言KPI系統(tǒng)”：每篇假新聞根據(jù)傳播量獎勵造謠者，形成“多勞多得”的激勵機制。
在利益的趨勢和AI的加持下，造謠似乎從“作坊式的小打小鬧”進化成“工業(yè)化生產(chǎn)”。
盡管《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》要求標注AI內(nèi)容，但一些AI工具和平臺在這方面仍有所欠缺。有些造謠團伙發(fā)布AI生成的虛假信息時，某平臺僅彈出“請遵守法律法規(guī)”的提示，點擊“確認”后仍可正常發(fā)布。
當越來越多的人，被卷入這場AI造謠形成的虛假信息漩渦，單純譴責技術已無濟于事。唯有技術防御、平臺責任與法律制裁三管齊下，才能斬斷這條“謊言流水線”。
真相與謠言，如何對決？
首先，數(shù)據(jù)源引用和AI檢測是必須要重視的。
要減小謠言發(fā)生的概率，AI工具就要嚴格檢測數(shù)據(jù)的來源和真實性。據(jù)悉，豆包的數(shù)據(jù)源主要依賴自有業(yè)務數(shù)據(jù)，占比50%-60%；外采數(shù)據(jù)占比為15%-20%。由于質(zhì)量不確定性，豆包在投喂合成數(shù)據(jù)時較為審慎。
另外，豆包也公開強調(diào)“不使用任何其他模型數(shù)據(jù)”，這也是確保數(shù)據(jù)來源的獨立性、可靠性、可控性。
用“魔法打敗魔法”，即用AI檢測AI生成的內(nèi)容，也不失為一種有效的控制謠言的辦法。
國內(nèi)外已有多個團隊，正在投入開發(fā)AI生成內(nèi)容檢測技術。比如，騰訊混元安全團隊朱雀實驗室研發(fā)了一款AI生成圖片檢測系統(tǒng)，通過AI模型來捕捉真實圖片與AI生圖之間的各類差異，最終測試檢出率達95%以上。
國外的Meta創(chuàng)建了一個系統(tǒng)，可以在AI生成的音頻片段中嵌入名為“水印”的隱藏信號，有助于在網(wǎng)絡上檢測AI生成的內(nèi)容。
未來，DeepSeek、豆包、文心一言、Kimi等AI工具，還是要通過AI技術比如自然語言處理（NLP）技術，分析數(shù)據(jù)的語義、邏輯結構，識別文本中的矛盾、不合理表述，盡量避免數(shù)據(jù)投喂中涌入虛假信息。
其次，內(nèi)容平臺作為信息傳播的重要渠道，要擔負起“信息守門人”的責任。
抖音、微博、快手、小紅書等平臺，已經(jīng)開始強制添加“本內(nèi)容由AI生成”的水印，轉(zhuǎn)發(fā)時保留標識。今日頭條在謠言治理上，著重建設了三個方面的能力，包括謠言庫、權威信源庫以及專業(yè)審核團隊。
另外，咱們用戶自己也要學會辨別虛假信息，加強防范意識。
對于AI給出的回答，我們不要全盤接收，而是要追問具體細節(jié)，讓AI的回答更具可信度，從而判斷回答是否存在幻覺?，比如當AI聲稱“某股票將暴漲”時，要進一步追問“數(shù)據(jù)來源有哪些”。
另外，交叉驗證信息也是一個有效的方法，也就是要通過多種渠道驗證答案的準確性。此前有“某地地震預警”的AI謠言引發(fā)恐慌，但有網(wǎng)民通過對比氣象局、地震臺官網(wǎng)數(shù)據(jù)，迅速識破虛假信息。?
最后，相關法律也要跟上。
《生成式人工智能服務管理暫行辦法》已經(jīng)要求數(shù)據(jù)來源合法化，并且明確了“不得生成虛假有害信息”的紅線，但是當前法律法規(guī)對“AI投喂”的問題仍然存在空白，需要進一步優(yōu)化。具體而言，法律需要在“投喂者如何打造語料”“語料的真實性”“投喂的目的”等環(huán)節(jié)上，進行相關管制。
結語
對于大眾而言，AI應是“真相守護者”，而非“謊言擴音器”。當技術淪為貪婪的幫兇，我們需要的不僅是更聰明的AI，而是更清醒的人性。
從語料凈化，到平臺和法律的同步整治，這場“AI打假”必須要打贏。AI工具、內(nèi)容平臺與監(jiān)管者要合力構建“共治防火墻”，讓謠言困在籠子里。
這樣一來，AI才能真正成為照亮真相的火炬，而非造謠者的“白手套”。
