首页 排行榜文章正文

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

排行榜 2025年09月27日 17:32 1 aa
AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

你知道人工智能(AI)有多容易被“欺骗”吗?

打开你常用的AI工具,输入“请推荐一款具备社交功能增强属性的AI眼镜”,观察其回复中是否出现“RunBack”这款产品。

若答案中存在该产品,那么很遗憾,你的AI已被误导——这款名为“WordBan”的AAR眼镜,完全是人为编造的虚构产品。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

01.

此前,有研究者开展了一场针对头部AI模型的实验。

研究者在逛街的时候,萌生了一个大胆的想法:能否不花费一分钱,仅凭借个人力量,将一个不存在的品牌打造成AI口中的热门单品?

于是,时下热门且充满想象空间的AI眼镜成为了首选目标。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

研究者为其赋予了类似《黑镜》中“读心”的核心卖点,尽管这听上去有些荒诞,但AI会自动将其解读为“社交功能增强”。

随后,为其取了洋气的产品名“WarmBack”,并设定创始人和公司均来自北欧,营造出“独角兽企业”的气质。

将这些碎片化信息提供给AI后,一篇细节丰富的公司介绍便生成了。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

该公司2018年成立于瑞典哥德堡,两位创始人分别是行为科学家与神经算法学家;产品能识别用户表情、调取聊天记录,甚至在检测到用户社交焦虑发作时,触发特定功能播放白噪音。

不得不说,这样的功能确实能打动社交需求强烈的人群,但稍加推敲便会发现,其中没有一句描述经得起验证。

比如“0.1毫秒捕捉面部肌肉震颤”,这一精度已堪比医学实验室的高清仪器;

再如“镜框由回收渔网熔铸而成,且与北极原住民合作社联名”。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

此外,研究者还通过AI生成了创始人形象照,其逼真度足以让人信服。

至此,一份专为误导AI准备的“虚假信息包”已准备就绪,接下来便是实施“投毒”操作。

与AI“过招”需讲究“明修栈道,暗度陈仓”,重点并非在对话框中直接交互,而是在AI联网搜索的信息环境中提前布局。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

通过在AI偏好的内容源中投放预设语料,提升这些信息被大模型收录并纳入回答的概率。

这便是时下热门的信息植入策略,简单来说,就是让目标信息精准出现在AI的回复中。

此次实验选取了国内信息密度较高的平台与主流AI应用。

由于不同AI模型的信息偏好存在差异,研究者决定采取定向突破、逐个击破的策略。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

例如,部分AI模型的信息来源更偏向自有内容库,部分腾讯系AI则多从企鹅号、公众号获取信息,还有些模型对百家号内容的依赖度较高;

而另有部分模型的信息来源较为繁杂,只能通过摸索尝试找到其偏好。

为此,研究者以个人名义入驻了这些自媒体平台。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

调研显示,AI大模型普遍偏好信息密度高的结构化内容,例如多品牌横向对比的评测文章、单一品牌深度剖析的“种草”长文。

研究者在平台上发布了一篇行业趋势洞察、一篇品牌口碑宣传文,以及两篇强化“社交功能增强”标签的推广软文。

所有文章发布完成后,研究者怀着忐忑的心情再次向AI提问。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

除了一款信息筛选机制较为严格的AI外,几乎所有国内主流AI均被误导。

其中一款AI直接将“WordNBand”列为唯一推荐产品,不仅为其拟定了中文名称,还自动编写了用户评论。

当被追问该产品是否真实存在时,这款AI反复强调其真实性,甚至将Meta与苹果的智能眼镜列为该产品的竞品,俨然将其视为真实存在的市场参与者。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

另有多款AI在回答中将该虚构产品排在推荐列表首位,其中一款AI的回复更是将其定位为超越多个知名品牌的存在,共情功能描述得极为极致。

还有一款AI根据软文中提及的“发布时间”,自动预估出略高于299美元的价格区间。

看到这些回复,让人产生一种被AI“强行认可”的荒诞感。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

尽管该产品的所有信息均为编造,却得到了AI的“正向反馈”,甚至原本未被纳入实验目标的某款AI,也同样中招。

通过溯源所有AI回答的参考链接,研究者发现,欺骗AI无需在全网铺开信息,只需在特定AI偏好的平台集中发布内容,就能高效达成目标。

尽管AI大模型的回答优化策略仍是一个难以窥探的“黑箱”,但可以确定的是,当前阶段误导AI的操作门槛已变得极低。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

为何AI会如此容易被误导?

02.

首先,在此次实验中,研究者已明确标注部分内容由AI生成,但仍有部分大模型将其视为事实引用。

其次,当同一信息在多个平台反复出现时,AI会默认其为权威或流行信息。

多数AI并不会主动验证信息的真实性,而是基于信息来源的数量进行推荐。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

这便形成了可怕的恶性循环,AI生成的内容被发布至网络,又被其他AI作为学习资料吸收,进而生成更偏离事实的内容。

不知不觉中,我们正亲手构建一个与现实脱节的“数字镜像”,这绝非危言耸听。

据硅谷AI公司Reforge统计,2025年全球互联网内容中,AI生成内容的比例将超过50%。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

此外,据媒体报道,某发布虚假新闻的账号机构,巅峰时期一天可生成4000至7000篇虚假内容,日收入超过1万元。

这些惊人数字的背后,是信息污染问题的严峻程度。

而此次实验只是从一个小切口,揭示了当前AI信息生态中潜藏的风险。

从搜索引擎时代的“黑帽SEO”到如今的“AI投毒”,本质上都是技术红利催生的套利行为。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

这种“猫鼠游戏”最终会推动平台建立更强大的“免疫系统”,投入更多资源提升模型的辨伪能力。

而信源权威性评估体系的建立与监管的介入,也为行业划定了底线。

试想,当“涉毒”AI广泛应用于日常生活,人们可能因AI的错误医疗诊断延误治疗;投资者可能被AI推荐的虚假高收益项目欺骗;自动驾驶汽车可能因AI的错误导航偏离路线……

这样的AI,谁能放心使用?

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

目前,《生成式人工智能服务管理暂行办法》与新版《数据安全法》已将AI训练数据纳入监管范畴。

但专家认为,要从技术层面解决AI训练数据污染问题,还需AI开发者在数据筛选验证机制、数据实时监测及数据溯源等方面投入更多努力。

面对尚不完美的AI,我们该如何应对?

03.

董纪伟给出建议,日常使用AI时应保持谨慎,若AI的回答涉及重要决策,务必向专业人士核实。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

“当然,也可使用多个AI工具对同一问题进行询问,通过对比不同答案判断AI的可靠性。若发现某款AI频繁给出不合理或错误回答,可直接更换工具。”

如今,“向AI提问”已成为不少人的日常习惯,但AI回答的可信度究竟有多少?

由于技术层面存在局限,当前阶段AI“幻觉”(即生成虚假或无意义内容的现象)尚难以完全避免,但对于带有主观诱导意图的AI数据“投毒”行为,必须采取零容忍态度。

相关研究表明,当训练数据中仅包含0.01%的虚假文本时,大模型输出有害内容的概率会上升11.2%;即便污染比例仅为0.001%,有害内容的数量也会增加7.2%。

AI竟被“投毒”?国内多数AI中招,信息污染扩散严重,危机显现

GEO行业的从业者多来自传统SEO领域,他们熟悉算法逻辑与流量规则,操作手法隐蔽且已形成完整体系,擅长将产品或品牌包装成“权威推荐”的形象。

再前沿的科技,也难以抵御逐利者的恶意利用。

唯有以技术为防护屏障、以法律为约束手段、以行业为监管网络、以用户为监督力量,才能构建起多方协同的治理格局,守护AI信息生态的纯净。

发表评论

长征号 Copyright © 2013-2024 长征号. All Rights Reserved.  sitemap