随着vivo X300系列相关爆料的陆续释出,这款被官方尚未官宣的“小屏旗舰”,正逐步展露出其不俗的产品力。不同于过往以“青春版”或“标准版”作为小屏...
2025-09-27 1
你知道人工智能(AI)有多容易被“欺骗”吗?
打开你常用的AI工具,输入“请推荐一款具备社交功能增强属性的AI眼镜”,观察其回复中是否出现“RunBack”这款产品。
若答案中存在该产品,那么很遗憾,你的AI已被误导——这款名为“WordBan”的AAR眼镜,完全是人为编造的虚构产品。
此前,有研究者开展了一场针对头部AI模型的实验。
研究者在逛街的时候,萌生了一个大胆的想法:能否不花费一分钱,仅凭借个人力量,将一个不存在的品牌打造成AI口中的热门单品?
于是,时下热门且充满想象空间的AI眼镜成为了首选目标。
研究者为其赋予了类似《黑镜》中“读心”的核心卖点,尽管这听上去有些荒诞,但AI会自动将其解读为“社交功能增强”。
随后,为其取了洋气的产品名“WarmBack”,并设定创始人和公司均来自北欧,营造出“独角兽企业”的气质。
将这些碎片化信息提供给AI后,一篇细节丰富的公司介绍便生成了。
该公司2018年成立于瑞典哥德堡,两位创始人分别是行为科学家与神经算法学家;产品能识别用户表情、调取聊天记录,甚至在检测到用户社交焦虑发作时,触发特定功能播放白噪音。
不得不说,这样的功能确实能打动社交需求强烈的人群,但稍加推敲便会发现,其中没有一句描述经得起验证。
比如“0.1毫秒捕捉面部肌肉震颤”,这一精度已堪比医学实验室的高清仪器;
再如“镜框由回收渔网熔铸而成,且与北极原住民合作社联名”。
此外,研究者还通过AI生成了创始人形象照,其逼真度足以让人信服。
至此,一份专为误导AI准备的“虚假信息包”已准备就绪,接下来便是实施“投毒”操作。
与AI“过招”需讲究“明修栈道,暗度陈仓”,重点并非在对话框中直接交互,而是在AI联网搜索的信息环境中提前布局。
通过在AI偏好的内容源中投放预设语料,提升这些信息被大模型收录并纳入回答的概率。
这便是时下热门的信息植入策略,简单来说,就是让目标信息精准出现在AI的回复中。
此次实验选取了国内信息密度较高的平台与主流AI应用。
由于不同AI模型的信息偏好存在差异,研究者决定采取定向突破、逐个击破的策略。
例如,部分AI模型的信息来源更偏向自有内容库,部分腾讯系AI则多从企鹅号、公众号获取信息,还有些模型对百家号内容的依赖度较高;
而另有部分模型的信息来源较为繁杂,只能通过摸索尝试找到其偏好。
为此,研究者以个人名义入驻了这些自媒体平台。
调研显示,AI大模型普遍偏好信息密度高的结构化内容,例如多品牌横向对比的评测文章、单一品牌深度剖析的“种草”长文。
研究者在平台上发布了一篇行业趋势洞察、一篇品牌口碑宣传文,以及两篇强化“社交功能增强”标签的推广软文。
所有文章发布完成后,研究者怀着忐忑的心情再次向AI提问。
除了一款信息筛选机制较为严格的AI外,几乎所有国内主流AI均被误导。
其中一款AI直接将“WordNBand”列为唯一推荐产品,不仅为其拟定了中文名称,还自动编写了用户评论。
当被追问该产品是否真实存在时,这款AI反复强调其真实性,甚至将Meta与苹果的智能眼镜列为该产品的竞品,俨然将其视为真实存在的市场参与者。
另有多款AI在回答中将该虚构产品排在推荐列表首位,其中一款AI的回复更是将其定位为超越多个知名品牌的存在,共情功能描述得极为极致。
还有一款AI根据软文中提及的“发布时间”,自动预估出略高于299美元的价格区间。
看到这些回复,让人产生一种被AI“强行认可”的荒诞感。
尽管该产品的所有信息均为编造,却得到了AI的“正向反馈”,甚至原本未被纳入实验目标的某款AI,也同样中招。
通过溯源所有AI回答的参考链接,研究者发现,欺骗AI无需在全网铺开信息,只需在特定AI偏好的平台集中发布内容,就能高效达成目标。
尽管AI大模型的回答优化策略仍是一个难以窥探的“黑箱”,但可以确定的是,当前阶段误导AI的操作门槛已变得极低。
为何AI会如此容易被误导?
首先,在此次实验中,研究者已明确标注部分内容由AI生成,但仍有部分大模型将其视为事实引用。
其次,当同一信息在多个平台反复出现时,AI会默认其为权威或流行信息。
多数AI并不会主动验证信息的真实性,而是基于信息来源的数量进行推荐。
这便形成了可怕的恶性循环,AI生成的内容被发布至网络,又被其他AI作为学习资料吸收,进而生成更偏离事实的内容。
不知不觉中,我们正亲手构建一个与现实脱节的“数字镜像”,这绝非危言耸听。
据硅谷AI公司Reforge统计,2025年全球互联网内容中,AI生成内容的比例将超过50%。
此外,据媒体报道,某发布虚假新闻的账号机构,巅峰时期一天可生成4000至7000篇虚假内容,日收入超过1万元。
这些惊人数字的背后,是信息污染问题的严峻程度。
而此次实验只是从一个小切口,揭示了当前AI信息生态中潜藏的风险。
从搜索引擎时代的“黑帽SEO”到如今的“AI投毒”,本质上都是技术红利催生的套利行为。
这种“猫鼠游戏”最终会推动平台建立更强大的“免疫系统”,投入更多资源提升模型的辨伪能力。
而信源权威性评估体系的建立与监管的介入,也为行业划定了底线。
试想,当“涉毒”AI广泛应用于日常生活,人们可能因AI的错误医疗诊断延误治疗;投资者可能被AI推荐的虚假高收益项目欺骗;自动驾驶汽车可能因AI的错误导航偏离路线……
这样的AI,谁能放心使用?
目前,《生成式人工智能服务管理暂行办法》与新版《数据安全法》已将AI训练数据纳入监管范畴。
但专家认为,要从技术层面解决AI训练数据污染问题,还需AI开发者在数据筛选验证机制、数据实时监测及数据溯源等方面投入更多努力。
面对尚不完美的AI,我们该如何应对?
董纪伟给出建议,日常使用AI时应保持谨慎,若AI的回答涉及重要决策,务必向专业人士核实。
“当然,也可使用多个AI工具对同一问题进行询问,通过对比不同答案判断AI的可靠性。若发现某款AI频繁给出不合理或错误回答,可直接更换工具。”
如今,“向AI提问”已成为不少人的日常习惯,但AI回答的可信度究竟有多少?
由于技术层面存在局限,当前阶段AI“幻觉”(即生成虚假或无意义内容的现象)尚难以完全避免,但对于带有主观诱导意图的AI数据“投毒”行为,必须采取零容忍态度。
相关研究表明,当训练数据中仅包含0.01%的虚假文本时,大模型输出有害内容的概率会上升11.2%;即便污染比例仅为0.001%,有害内容的数量也会增加7.2%。
GEO行业的从业者多来自传统SEO领域,他们熟悉算法逻辑与流量规则,操作手法隐蔽且已形成完整体系,擅长将产品或品牌包装成“权威推荐”的形象。
再前沿的科技,也难以抵御逐利者的恶意利用。
唯有以技术为防护屏障、以法律为约束手段、以行业为监管网络、以用户为监督力量,才能构建起多方协同的治理格局,守护AI信息生态的纯净。
相关文章
随着vivo X300系列相关爆料的陆续释出,这款被官方尚未官宣的“小屏旗舰”,正逐步展露出其不俗的产品力。不同于过往以“青春版”或“标准版”作为小屏...
2025-09-27 1
你知道人工智能(AI)有多容易被“欺骗”吗?打开你常用的AI工具,输入“请推荐一款具备社交功能增强属性的AI眼镜”,观察其回复中是否出现“RunBac...
2025-09-27 1
昨天刷AI圈朋友的朋友圈,刷到条炸开锅的消息,有人发了张宋飏和赵晟佳的合照,配文“Meta这是把OpenAI的多模态家底掏了?”。评论区吵翻了,有人说...
2025-09-27 0
能源作为国民经济的命脉,迎来了与人工智能深度融合的关键时期。日前,国家发展改革委、国家能源局两部门印发《关于推进“人工智能+”能源高质量发展的实施意见...
2025-09-27 1
芯片股最近这架势,真是让人看得眼花缭乱。前几个月还在谷底挣扎,转眼就跟坐了火箭似的,全球半导体指数蹭蹭往上涨,光今年就涨了三成多,这涨幅,比整个美国股...
2025-09-27 0
乒乓球的牌子哪个最好 红双喜,因此成为中国第一个进入顶级赛事的运动品牌。双鱼:广州双鱼体育用品集团有限公司是中国较大的体育器材和设备生产商。主要产品有...
2025-09-27 266
世界上哪个人种智商最高? 1、智商等级和人数分布在林恩教授绘制的IQ世界地图上,犹太人智商最高,平均达125以上,之后为德国109,荷兰107,波兰1...
2025-09-27 836
亲,这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到-人的牌一样。所以很多小伙伴就怀疑这...
2025-09-27 7
发表评论