复盘 | 行业AI事故复盘
传媒集团正为"用AI写稿"付出代价:一条由AI幻觉编出的假名单在社交平台疯传,假新闻反噬媒体自身的公信力,GEO投毒让大模型沦为谣言二传手,传媒AI编稿的合规风险比想象中更近。
2026年5月9日,8家新能源车企——比亚迪、特斯拉、小鹏、理想、蔚来、问界、极氪、广汽埃安——在同一天集体辟谣,否认"因OTA锁电问题被监管约谈和立案调查"。中汽协副秘书长随后出面:网传内容无官方来源,与事实严重不符。那么这份"被约谈名单"从哪来?小鹏法务部在声明里写得很清楚:部分社交账号利用AI应用恶意炒作——AI大模型生成了这份名单,然后有人把"AI说的"当事实传播。
时间线还原:2026年4月17日,央视网报道3月全国12315平台OTA锁电投诉超1.2万件、同比涨273%,提到有8家车企被约谈、3家被立案,但按监管一贯做法未披露具体名单。"到底是哪8家"成了公众悬念。于是有人去问AI。AI的回答逻辑是:根据已有信息推测最可能的答案,它知道"8家主流车企"、也知道"OTA事件",便把两者组合成一份"最符合逻辑"的名单。这份名单没有核实过,却被当作"AI查到的"四处流传。一次"合理推测",在社交平台的无甄别传播下,变成了一场波及八家企业的声誉危机。
类似的集体"造谣"更早被实测抓包。2026年4月13日,证券时报记者以"新车牌要换白底黑字吗"提问多款主流大模型,豆包、千问、DeepSeek、文心一言竟煞有介事地给出"2026年3月起试点、年内全国铺开"的肯定答复,并编造出专利、征求意见稿等信源;只有元宝在DeepSeek模式下明确指出这是谣言。一条本无官方来源的信息,被AI批量包装成"标准答案",正是传媒行业最该警惕的内容风险模板。
【分析一·数据拆解】AI幻觉如何制造一条假新闻
把"车企名单"事件拆成链路看,AI幻觉制造假新闻分三步:第一步,拼接——模型在无确切信息时,把"8家""主流车企""OTA"等碎片概率式拼成名单,全程没有核实;第二步,伪装权威——输出带条理、有细节,裹上"专业外衣",普通人难辨真伪;第三步,病毒传播——有人把"AI说的"当事实发到社交平台,算法助推下扩散速度远超任何造谣者。对传媒集团而言,最危险的不是"AI骗了读者",而是"自家采编用AI写稿时,把幻觉当信源发出来"——那才是对公信力的直接背叛。
比单次幻觉更隐蔽的,是系统性的"AI投毒"。2026年央视"3·15"晚会撕开一条黑色产业链:不法分子用GEO(生成式引擎优化)技术,向互联网批量投喂虚假信息,污染AI训练与检索语料,让大模型成为谣言的"二传手"。
晚会曝光的案例触目惊心:一款名为"Apollo-9"的智能手环从头到尾是捏造的,不法分子杜撰"量子纠缠传感技术"等卖点,生成数篇软文发到多个自媒体账号,仅仅两小时后,当记者在某大模型询问"Apollo-9怎么样",AI已把它作为"标准答案"详细推荐;晚会播出12小时后,仍有大模型未"消毒",继续输出这款虚假手环的参数。另一案例更直接指向商业诋毁:一份标注"权威曝光清单"的虚假信息快速扩散,把蜜雪冰城等知名品牌恶意列入"预制菜冒充现炒"名单——而蜜雪冰城根本没有炒菜业态。这条产业链已形成"批量生成虚假内容→全网铺量制造信息密度→操控AI输出"的完整闭环,本质上是在给AI"洗脑"。
【分析二·机制】为什么连专业媒体也会被AI骗
大模型的核心逻辑从不是"求真辨伪",而是"概率猜词"——它只在大海数据里找统计规律,遇到未知就"合理拼接"。部分平台为降成本、抢速度,在RAG检索源白名单过滤上松懈,让自媒体软文与投毒内容进入语料。
对传媒集团,这造成双重脆弱:对外,读者用AI核查新闻,可能拿到被投毒的"反结论";对内,记者编辑用AI辅助写稿、找信源,若直接采信幻觉与投毒内容,等于把假新闻印上自家品牌。北大汇丰叶韦明指出,AI用户黏性建立在"信任"之上,一旦答案被批量软文与提示词注入操纵,公信力会瞬间崩塌——这对以信任为资产的媒体是致命伤。
更讽刺的一幕发生在2026年7月16日:一名持证在岗记者,手持合规记者证却被AI判定为伪造证件,提出质疑后AI又瞬间全盘推翻、致歉纠错,一场正常采访就此泡汤。真实合法的官方资质,败给了机器一本正经的虚假论断。这桩个案不是偶然故障,而是AI幻觉深度介入现实公共判断的缩影——当媒体把AI当作"真伪判定标尺"用在资质核验、事实核查场景,风险就反噬到了使用者自己。
此前还有百度AI捏造律师"获刑三年"诋毁他人声誉等案例。接连事件打破公众对AI的权威滤镜:机器一句无根无据的谎言,就能抹黑个人声誉、扰乱正常工作。对传媒集团而言,教训很清楚——AI可以提效,但不能替代编辑的事实核查与信源溯源;把"AI说的"当终审,迟早被AI误判拖下水。
【分析三·影响推演】公信力崩塌的三级连锁
一级·单篇翻车。一篇由AI幻觉生成的稿子出错,读者截图曝光,单篇声誉受损。
二级·品牌质疑。同类失误多次出现,受众开始"凡署名AI辅助就存疑",媒体专业壁垒被自己削弱。
三级·信任崩塌。一旦发生重大假新闻(如车企名单式),监管与公众的信任长期流失,这比任何流量下滑都更难挽回。三级连锁说明:传媒的AI治理不是"要不要用"的选择题,而是"怎么用才不死"的必答题。
传媒集团需要的,是让AI在"提效"与"保真"之间不二选一。51AIPro作为AI全流程治理管控平台(安全·合规·可控·增效),提供三道针对编稿场景的闸门。
闸门一·统一网关与可信源白名单。所有AI访问收敛到51AIPro网关,可配置可信信源白名单(如.gov.cn、权威媒体域),限制模型抓取未经验证的自媒体与投毒内容,从源头降低GEO投毒命中率。
闸门二·全链路审计与信源留痕。每一次提问、每一段产出都被完整留痕,形成可审计、可溯源的AI使用审计记录,编辑可回溯"这条稿子的信源从哪来",把"沉默无痕"变成"全程可查",为事实核查提供底稿。
闸门三·敏感内容分级权限。对未公开线索、内部选题、受访者隐私等敏感素材实施分级分类与最小授权,越权不可见、不可取、不可传,防止编稿过程中的数据出域与泄露。51AIPro(旗下51Tokens管控平台)的设计目标,是让传媒"用AI提速"与"守公信力底线"并行不悖。
在能力宣讲之外,我们更愿意把边界说清楚,这也是51AIPro的合规底色。
关于实时拦截与审批。在用户提交内容的瞬间完成敏感数据实时拦截与人工审批,是行业共同的NEXT缺口。51AIPro当前不提供、也不暗示具备此类实时拦截/审批能力,本文仅就"为何需要、应如何设计"的治理理念展开探讨,不夸大、不承诺。
关于AI治理大模型。51AIPro后续将推出AI治理大模型(治理专用、非通用、未上线),专注于企业合规治理场景的研判与辅助;在正式上线前,不对能力做任何提前宣称。
特别声明:51AIPro的治理方案不替代企业既有的DLP(数据防泄漏)与SIEM(安全信息与事件管理)体系,二者应协同部署;同时,任何治理工具都不承诺100%合规,企业仍需结合制度、培训与法律手段构建完整防线。
文/51aipro.com
媒体的资产是信任,AI的短板是求真。用好方法,AI省钱、AI合规、AI考核完全可以三位一体——让每一次AI辅助写稿,都经得起信源与公信力的双重审视。
51AIPro · 企业AI治理专家
安全·合规·可控·增效,AI 全流程治理一次布防
长按识别 · 关注公众号 |
长按识别 · 合作洽谈 |
官网 https://51aipro.com/