今年2月，一位普通股民在雪球論壇看到一張AI問答截圖：“某公司已投資AI巨頭DeepSeek，股價(jià)即將暴漲！”

對于在股市中摸爬滾打、渴望抓住每一個(gè)投資機(jī)會的股民來說，這無疑是一條極具誘惑的消息。他堅(jiān)信截圖中的內(nèi)容，并且興奮地跟風(fēng)買入，結(jié)果次日發(fā)現(xiàn)該公司辟謠，股價(jià)反而下跌，自己遭受沉重一擊。

這樣的事情并非個(gè)例，從“某公司投資DeepSeek”到“涼山山體滑坡”，AI生成的虛假信息正以病毒式速度擴(kuò)散，這背后存在一條由黑灰產(chǎn)操控的“AI謠言流水線”。

在股市里，有一種造謠者被稱為“黑嘴”。他們發(fā)布虛假信息，引誘投資者上鉤，通過養(yǎng)粉薦股后的反向操作收割機(jī)構(gòu)或個(gè)人。

現(xiàn)在不少領(lǐng)域的“黑嘴”，就將DeepSeek、豆包等AI工具當(dāng)做“白手套”。他們利用AI技術(shù)的短板，制造謠言并將其包裝成“權(quán)威答案”，再通過算法反哺形成閉環(huán)，最終收割流量與利益。

第一批用DeepSeek掘金的人，已經(jīng)在這上面栽了跟頭。

AI淪為造謠者的“嘴替”

很多虛假信息的背后，是造謠者在有組織、有計(jì)劃地進(jìn)行AI造謠。

此前在DeepSeek、豆包、文心一言、Kimi等AI工具的問答中，慈星股份、華勝天成、并行科技、誠邁科技等多家公司都被描述為“DeepSeek的投資者”，但事實(shí)上這些公司都沒有參與投資。

為什么會出現(xiàn)與事實(shí)背離的情況？這跟數(shù)據(jù)投喂有直接關(guān)系。

隱藏在網(wǎng)絡(luò)背后的造謠者，會利用AI批量生產(chǎn)謠言，比如“慈星股份投資了DeepSeek”等等，堪稱流水線上的“謊言印刷機(jī)”。而且造謠者的“效率”非常高，有人一天就能制造幾千篇虛假文章，甚至還出現(xiàn)了一天生成19萬篇虛假文章的造假軟件。

然后，造謠者會操控成百上千個(gè)水軍賬號，在多個(gè)線上平臺高頻傳播這些造謠信息。他們的最終目的，是讓AI援引大量的虛假信息，充當(dāng)自己的嘴替。

所以，很多人就會看到AI工具援引虛假信源，給出了錯(cuò)誤答案。本來有些人對謠言是將信將疑，但看到AI給出的答案后堅(jiān)信不疑，此時(shí)就落入了造謠者制造的圈套，從而栽了跟頭。有人就因?yàn)榭吹紸I回答中有“某某投資品有潛力”等信息，誤以為發(fā)現(xiàn)了財(cái)富密碼，結(jié)果被割了韭菜。

最可怕的是，造謠者還會將AI給出的回答，再以截圖形式繼續(xù)傳播擴(kuò)散，以誘導(dǎo)欺騙更多人。所以這些AI謠言并非單次傳播，而是“謠言—AI回答—更多謠言”的循環(huán)。這種自我強(qiáng)化的閉環(huán)，讓謠言像癌細(xì)胞般無限增殖。

據(jù)南都大數(shù)據(jù)研究院不完全統(tǒng)計(jì)，2024年搜索熱度較高的50個(gè)國內(nèi)AI風(fēng)險(xiǎn)相關(guān)輿情案例中，超1/5與AI造謠有關(guān)，68%的網(wǎng)民曾因AI生成的“專家解讀”“權(quán)威數(shù)據(jù)”而誤信謠言。

一名受訪者苦笑：“以前不信小道消息，現(xiàn)在連AI都撒謊，我們還能信誰？”

AI謠言帶來的破壞力是巨大的，且不限于資本市場。

前不久，“廣州法院對某汽車品牌L3級自動(dòng)駕駛追尾事故作出首例判決”的謠言全網(wǎng)傳播，就對該品牌的聲譽(yù)和銷售造成打擊，損害企業(yè)利益。

在發(fā)生公共安全事故時(shí)，有人故意制造AI謠言擾亂視聽。這不僅會干擾救援節(jié)奏，還容易引發(fā)民眾恐慌。當(dāng)造謠者通過收割流量，社會付出的代價(jià)其實(shí)是信任的崩塌與秩序的混亂。

AI謠言帶來的危害還是全球性的，世界經(jīng)濟(jì)論壇發(fā)布的《2025年全球風(fēng)險(xiǎn)報(bào)告》顯示，“錯(cuò)誤和虛假信息”是2025年全球面臨的五大風(fēng)險(xiǎn)之一，AI的濫用是這種風(fēng)險(xiǎn)的重要推手。

那么，AI究竟是如何淪為造謠者的“嘴替”呢？

AI如何淪為造謠者的“嘴替”？

雖然AI現(xiàn)在火的發(fā)紫，更新?lián)Q代也非常快，但是仍然存在不少短板。

其中，較為突出的問題就是語料污染與AI幻覺。

AI大模型的訓(xùn)練依賴海量數(shù)據(jù)，但數(shù)據(jù)的真實(shí)性卻無人擔(dān)保。中國信通院曾做過實(shí)驗(yàn)，當(dāng)在特定論壇連續(xù)發(fā)布百余條虛假信息后，主流AI大模型對對標(biāo)問題的回答置信度，就會從百分之十幾快速飆升。

前不久，紐約大學(xué)的研究團(tuán)隊(duì)發(fā)表了一項(xiàng)研究，揭示了大語言模型（LLM）在數(shù)據(jù)訓(xùn)練中的脆弱性。他們發(fā)現(xiàn)，即使是極少量的虛假信息，只需占訓(xùn)練數(shù)據(jù)的0.001%，就能導(dǎo)致整個(gè)模型出現(xiàn)重大錯(cuò)誤，而這個(gè)過程的成本極其低廉，僅花費(fèi)了5美元。

這就像在水庫中注入幾滴毒藥，就能讓水庫里的每一滴水都帶著謊言的味道，信息體系都會被破壞，堪稱污染AI的“精神投毒”。

這其實(shí)暴露了AI的致命缺陷：它很難區(qū)分“熱門帖子”和“真實(shí)信息”，只認(rèn)數(shù)據(jù)權(quán)重。它像一面誠實(shí)的鏡子，但映射的可能是被篡改的世界。

有的AI為了完成邏輯自洽，甚至還會胡編亂造。

某AI工具就根據(jù)“80后死亡率5.2%”的虛假語料，輸出“每20個(gè)80后就有1人死亡”的結(jié)論。這種“一本正經(jīng)地胡說八道”，源于AI大語言模型在編造它認(rèn)為真實(shí)存在甚至看起來合理的信息。它追求的是邏輯自洽，而非事實(shí)正確，這也被稱為“AI幻覺”。

看來在“開局一張圖，剩下全靠編”這件事上，AI比人類還擅長。

技術(shù)是否有罪本身是個(gè)有爭議的話題，但人性的貪婪一定是AI謠言的罪魁禍?zhǔn)住?/p>

傳統(tǒng)造謠需要雇傭?qū)懯郑鳤I將成本壓縮至近乎為零且效率極高，利益極為豐厚。2024年南昌警方查處某MCN機(jī)構(gòu)，其負(fù)責(zé)人王某某通過AI工具每日生成虛假文章4000-7000篇，內(nèi)容涵蓋“某公司暴雷”“某地災(zāi)情”等，最高峰的時(shí)候每天能生成4000-7000篇，每天收入超1萬元。

某黑產(chǎn)從業(yè)者聲稱：“用AI造謠就像開印鈔機(jī)，團(tuán)隊(duì)3個(gè)人一個(gè)月能賺50萬。”更諷刺的是，他們甚至開發(fā)了“謠言KPI系統(tǒng)”：每篇假新聞根據(jù)傳播量獎(jiǎng)勵(lì)造謠者，形成“多勞多得”的激勵(lì)機(jī)制。

在利益的趨勢和AI的加持下，造謠似乎從“作坊式的小打小鬧”進(jìn)化成“工業(yè)化生產(chǎn)”。

盡管《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》要求標(biāo)注AI內(nèi)容，但一些AI工具和平臺在這方面仍有所欠缺。有些造謠團(tuán)伙發(fā)布AI生成的虛假信息時(shí)，某平臺僅彈出“請遵守法律法規(guī)”的提示，點(diǎn)擊“確認(rèn)”后仍可正常發(fā)布。

當(dāng)越來越多的人，被卷入這場AI造謠形成的虛假信息漩渦，單純譴責(zé)技術(shù)已無濟(jì)于事。唯有技術(shù)防御、平臺責(zé)任與法律制裁三管齊下，才能斬?cái)噙@條“謊言流水線”。

真相與謠言，如何對決？

首先，數(shù)據(jù)源引用和AI檢測是必須要重視的。

要減小謠言發(fā)生的概率，AI工具就要嚴(yán)格檢測數(shù)據(jù)的來源和真實(shí)性。據(jù)悉，豆包的數(shù)據(jù)源主要依賴自有業(yè)務(wù)數(shù)據(jù)，占比50%-60%；外采數(shù)據(jù)占比為15%-20%。由于質(zhì)量不確定性，豆包在投喂合成數(shù)據(jù)時(shí)較為審慎。

另外，豆包也公開強(qiáng)調(diào)“不使用任何其他模型數(shù)據(jù)”，這也是確保數(shù)據(jù)來源的獨(dú)立性、可靠性、可控性。

用“魔法打敗魔法”，即用AI檢測AI生成的內(nèi)容，也不失為一種有效的控制謠言的辦法。

國內(nèi)外已有多個(gè)團(tuán)隊(duì)，正在投入開發(fā)AI生成內(nèi)容檢測技術(shù)。比如，騰訊混元安全團(tuán)隊(duì)朱雀實(shí)驗(yàn)室研發(fā)了一款A(yù)I生成圖片檢測系統(tǒng)，通過AI模型來捕捉真實(shí)圖片與AI生圖之間的各類差異，最終測試檢出率達(dá)95%以上。

國外的Meta創(chuàng)建了一個(gè)系統(tǒng)，可以在AI生成的音頻片段中嵌入名為“水印”的隱藏信號，有助于在網(wǎng)絡(luò)上檢測AI生成的內(nèi)容。

未來，DeepSeek、豆包、文心一言、Kimi等AI工具，還是要通過AI技術(shù)比如自然語言處理（NLP）技術(shù)，分析數(shù)據(jù)的語義、邏輯結(jié)構(gòu)，識別文本中的矛盾、不合理表述，盡量避免數(shù)據(jù)投喂中涌入虛假信息。

其次，內(nèi)容平臺作為信息傳播的重要渠道，要擔(dān)負(fù)起“信息守門人”的責(zé)任。

抖音、微博、快手、小紅書等平臺，已經(jīng)開始強(qiáng)制添加“本內(nèi)容由AI生成”的水印，轉(zhuǎn)發(fā)時(shí)保留標(biāo)識。今日頭條在謠言治理上，著重建設(shè)了三個(gè)方面的能力，包括謠言庫、權(quán)威信源庫以及專業(yè)審核團(tuán)隊(duì)。

另外，咱們用戶自己也要學(xué)會辨別虛假信息，加強(qiáng)防范意識。

對于AI給出的回答，我們不要全盤接收，而是要追問具體細(xì)節(jié)，讓AI的回答更具可信度，從而判斷回答是否存在幻覺‌，比如當(dāng)AI聲稱“某股票將暴漲”時(shí)，要進(jìn)一步追問“數(shù)據(jù)來源有哪些”。

另外，交叉驗(yàn)證信息也是一個(gè)有效的方法，也就是要通過多種渠道驗(yàn)證答案 的 準(zhǔn)確性。此前有“某地地震預(yù)警”的AI謠言引發(fā)恐慌，但有網(wǎng)民通過對比氣象局、地震臺官網(wǎng)數(shù)據(jù)，迅速識破虛假信息。‌

最后，相關(guān)法律也要跟上。

《生成式人工智能服務(wù)管理暫行辦法》已經(jīng)要求數(shù)據(jù)來源合法化，并且明確了“不得生成虛假有害信息”的紅線，但是當(dāng)前法律法規(guī)對“AI投喂”的問題仍然存在空白，需要進(jìn)一步優(yōu)化。具體而言，法律需要在“投喂者如何打造語料”“語料的真實(shí)性”“投喂的目的”等環(huán)節(jié)上，進(jìn)行相關(guān)管制。

結(jié)語

對于大眾而言，AI應(yīng)是“真相守護(hù)者”，而非“謊言擴(kuò)音器”。當(dāng)技術(shù)淪為貪婪的幫兇，我們需要的不僅是更聰明的AI，而是更清醒的人性。

從語料凈化，到平臺和法律的同步整治，這場“AI打假”必須要打贏。AI工具、內(nèi)容平臺與監(jiān)管者要合力構(gòu)建“共治防火墻”，讓謠言困在籠子里。

這樣一來，AI才能真正成為照亮真相的火炬，而非造謠者的“白手套”。