近年來，人工智能技術的發(fā)展突飛猛進。新技術的發(fā)展在推動社會進步的同時有時也會伴隨著悖論和陷阱。

??就在幾天前，打響這一輪大模型熱潮“第一槍”的OpenAI CEO奧爾特曼坦言，用戶對ChatGPT展現(xiàn)出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虛假或誤導性內容，因此不應被視為完全可信的工具。

??這無疑是給如火如荼的大模型熱潮澆了一盆冷水。近年來，各行各業(yè)都在“大干快上”大模型應用，各種行業(yè)大模型層出不窮，大有“百模大戰(zhàn)”之勢。然而，過度依賴大模型的弊端也日漸顯現(xiàn)，如大模型幻覺導致的虛假信息頻現(xiàn)，一些大模型甚至在測試中出現(xiàn)不受控制的風險。

??從目前披露的風險事件來看，法律和醫(yī)療行業(yè)已飽受大模型幻覺困擾。據外媒報道，英國高等法院今年6月份要求律師行業(yè)采取緊急行動，防止人工智能被濫用。因為近期已經出現(xiàn)數(shù)十份可能由人工智能生成的虛假案例引用被提交至法庭。在一起針對卡塔爾國家銀行、索賠金額達8900萬英鎊的損害賠償案件中，原告提出的45項判例法引用中有18項被證明是虛構的。此前，美國紐約南區(qū)聯(lián)邦法院在審理一起航空事故訴訟時發(fā)現(xiàn)，原告律師提交的法律文書中引用了ChatGPT生成的6個虛假判例，這些虛構案例包括完整的案件名稱、案卷號及法官意見，甚至模仿了美國聯(lián)邦最高法院的判例風格，嚴重干擾了司法程序。

??另據媒體披露，由美國衛(wèi)生與公眾服務部牽頭、“讓美國再次健康”委員會發(fā)布的兒童慢性病報告也存在重大引用錯誤。報告中多處有關超加工食品、殺蟲劑、處方藥和兒童疫苗的研究并不存在。參考文獻也多處有誤，包括鏈接失效、作者缺失或錯誤等。《紐約時報》和《華盛頓郵報》的獨立調查顯示，該報告作者可能使用了生成式AI。

??事實上，早在今年3月份，哥倫比亞大學數(shù)字新聞研究中心針對主流AI搜索工具的研究發(fā)現(xiàn)，其可靠性堪憂。研究分別測試了8款AI搜索工具，發(fā)現(xiàn)AI搜索工具在引用新聞方面表現(xiàn)尤其不佳，平均出錯比例達60%。而在今年1月份，世界經濟論壇發(fā)布的《2025年全球風險報告》顯示，“錯誤和虛假信息”被列為2025年全球面臨的五大風險之一。

??更應引起重視的是，隨著人工智能不斷進化迭代，一些大模型甚至顯現(xiàn)出違背人類指令的“自我保護”傾向。在今年6月召開的第七屆智源大會上，圖靈獎得主約舒亞·本喬透露，一些新研究顯示，某些先進的大模型在即將被新版本取代前，會偷偷將自己的權重或代碼嵌入新版系統(tǒng)，試圖“自保”。美國Anthropic公司6月發(fā)布的一項研究也顯示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模擬實驗中均表現(xiàn)出通過“敲詐”人類來阻止自己被關閉的行為。其中，Anthropic研發(fā)的Claude Opus 4的敲詐勒索率高達96%。

??這些研究以及風險事件給大模型在行業(yè)的應用敲響了警鐘。隨著應用場景不斷拓展，人工智能如今不僅被用來生成文字，還在生成軟件、算法甚至決策，尤其是在制造業(yè)，如若發(fā)生幻覺或者違背人類指令，其帶來的負面影響將難以估量。例如，在智能制造行業(yè)已經開始應用人工智能進行設備故障監(jiān)測，輔助分析問題并作出決策，如果此時AI出現(xiàn)幻覺，則可能引發(fā)事故。尤其是當前大模型與人形機器人技術正深度結合，而大模型的“幻覺”或“自保”傾向可能會讓人形機器人做出錯誤的行為，這比起單純的語言輸出錯誤更具風險。

??盡管人工智能可能帶來的風險不容忽視，但我們也不能“因噎廢食”。在謹慎使用人工智能技術的同時，更應該加強人工智能技術治理，未雨綢繆，為安全應用人工智能搭建起技術和制度的框架。當前，不少科學家和科技企業(yè)已經開始了探索，國家相關法律法規(guī)也在不斷完善，相信在不久的將來，更加安全、可控的人工智能技術將推動各行各業(yè)高質量發(fā)展，成為培育和發(fā)展新質生產力的重要引擎。（吳蔚）

【責任編輯:冉曉寧】