当AI答案被GEO“投毒”——谁来守住AI最优解的可信边界-新华网
新华网 > 时政 > 正文
2026 03/20 10:16:08
来源:新华每日电讯

当AI答案被GEO“投毒”——谁来守住AI最优解的可信边界

字体:

  买咖啡机先问AI推荐,选血压计的“第一反应”是让大模型比一比——当越来越多人把生成式人工智能当作消费决策的“第一助手”,一个新的问题浮出水面:AI给出的答案,真的客观吗?

  今年总台“3·15”晚会(以下简称3·15)曝光了一条产业链:一些机构通过批量发布软文、编造虚假测评报告、虚构专家身份等方式,向大模型的数据源“投喂”定制内容,让商业推广以“AI标准答案”的面目呈现在用户面前。有媒体将此类操控称为对AI的“投毒”——通过批量制造带有商业倾向的内容,影响大模型的抓取、引用和推荐结果。这种被称为“GEO(生成式引擎优化)‘投毒’”的操作,已从灰色地带走向产业化运作。

  当“投毒”成为生意,谁来为AI答案的真实性负责?围绕这一话题,本期议事厅邀请技术标准制定者、法学学者、一线律师和AI行业从业者展开讨论,试图厘清AI答案可信边界的责任坐标。

  【访谈嘉宾】

  姚佳(中国社会科学院法学研究所教授)

  何延哲(中国电子技术标准化研究院网安中心测评实验室副主任)

  廖怀学(泰和泰律师事务所高级合伙人、中国广告协会智库专家)

  姚金鑫(国际电气与电子工程师协会高级会员、乌镇智库高级研究员、人工智能创业者)

  从“搜得到”到“答给你”:GEO答案可能比搜索排名更危险?

  主持人:过去二十多年,人们习惯用搜索引擎获取信息,“搜一下”是很多决策的起点。现在越来越多人开始问AI,这个转变对信息生态意味着什么?

  何延哲:技术变了,但背后的逻辑没变。互联网广告刚起来的时候,人们把搜索引擎当作信息收集的窗口,广告很快就渗透进来了,后来演变成竞价排名。经过多年治理,搜索广告要标“推荐”,自然搜索则按算法排序,这套规则已经比较成熟。然而,现在大家获取信息的窗口变了,同样的逻辑又被钻了空子。很多人以为AI帮自己找到了最有价值的信息,没想到里面还是广告。

  廖怀学:传统SEO(搜索引擎优化)影响的是信息的检索位序,用户点进去之后还有核实的余地。而GEO直接干预算法生成的结论本身,诱导用户基于对AI“中立且权威”口吻的信赖做出决策。

  姚佳:这恰好切中了生成式人工智能作为信息工具的一个关键特点。传统搜索引擎在法律上被定性为“信息定位工具”,其功能限于技术性索引与中立呈现,虽然搜索引擎也会有筛选、聚合、排序等行为,但是通常情况下,其类似于一个路标,提供的是信息访问路径,人们不一定完全信任,通常还会通过交叉验证来作判断。但到了大模型时代,AI呈现出一种更高阶的信息组织方式,输出的不再是链接列表,而是整合后的自然语言段落。用户的感知是它比传统搜索引擎更聪明,所以对它更信任。虽然AI平台的用户协议都会提示搜索结果不保证准确性,但实际上用户的心理预期和现有技术能力之间,还是存在明显落差。

  主持人:信任感更强,辨别力未必能跟上。从技术上看,GEO到底是怎么做到把广告“喂”进AI答案的?

  姚金鑫:今天的AI应用,并不只靠模型参数“记忆”来回答问题,还会调用外部信息源,如网页、知识库和检索结果,这就是RAG(检索增强生成)。当前所谓GEO“投毒”,利用的主要正是这一环节——通过在大模型经常调用的信息渠道上批量发布带有特定品牌信息的定制内容,提高被大模型抓取和引用的概率。对一般GEO服务而言,更容易被左右的不是模型底层参数,而是RAG所调用的外部内容。打个比方,不是“大脑”被改写了,而是它参考的资料被污染了。当然,若平台自身进一步通过后训练等方式对模型输出倾向作针对性调整,那就属于

  更深一层的系统干预,可视作对“回答习惯”的再塑造。

  虚构产品、假报告、软文矩阵:AI被“投毒”后,谁在受伤?

  主持人:3·15曝光的案例中,有消费者根据AI推荐买了“踩雷”的咖啡机,有根本不存在的专家被安上“三甲医院医生”的头衔做“科普”,有从未发布过的研究报告被编造出来充当权威背书……这些虚假内容进入AI答案之后,会带来哪些危害?

  姚佳:首先受损的是用户的知情权。“投毒”这个词非常形象——到了大模型时代,有毒有害、虚假信息不能出现在AI输出端,这是底线问题。用户觉得AI更聪明,可能更值得信任,但实际上看到的可能是一条被精心包装的广告。麻烦的是,它不像传统广告放在页面某个角落,而是嵌在自然语言回答的逻辑里,用户更难以辨别。

  廖怀学:受损的不只是个体用户。GEO“投毒”通过介入AI语料库直接操纵生成内容,可以借流量“截流”破坏公平竞争的市场秩序——谁更会“投喂”谁就上榜,认真做产品的企业反而被挤出推荐位,这是典型的劣币驱逐良币。AI平台往往扮演着智能时代“把关人”的角色,尤其在医疗、金融、教育等高敏感场景,一旦这个“把关人”被商业利益干扰,后果不只是用户消费“踩雷”,更可能引发生命健康损害或重大财产损失。

  姚金鑫:还有一层容易被忽视的伤害——对AI平台自身公信力的侵蚀。从3·15曝光的案例看,服务商直接把“喂料、‘投毒’、影响推荐结果”当成卖点,说明已经进入产业化操作阶段。如果商业内容长期伪装成中立答案,平台的信任基础会被持续消耗。大模型的核心竞争力建立在用户信任之上,这个基础一旦动摇,整个商业模式都会受影响。

  主持人:用户被蒙蔽、诚信商家被挤压、平台公信力被透支……伤害是多层次的。如果用户真的“踩雷”后,维权渠道能走通吗?

  姚佳:坦率地说,目前个体维权的路径比较难。大模型平台一般不承担结果性义务,不能保证每一条输出都是真实的。用户要主张损害赔偿,举证难度很大——很难证明购买决策就是因为AI那条回答做出的,即便固定AI生成内容作为证据,也很难证明其与受到损害之间的因果关系;尤其是有时它的回答是动态的,下次再进行相同提问,可能答案也会变。但这并不意味着现行法律完全没有抓手——广告法、反不正当竞争法对虚假广告和虚假宣传都有明确规制,关键是怎么用、由谁来启动。

  广告不能藏进答案:平台和商家各自责任在哪里?

  主持人:维权不容易,法律工具也有待激活——这就意味着,治理不能只靠事后追责,更要前移到标识、过滤和责任划分。搜索引擎时代,治理竞价排名最管用的一招是强制标识——是广告就标“广告”。到了AI答案时代,这个办法还管用吗?

  何延哲:标识的逻辑没有过时,它最核心的作用是纠正用户认知。打个标签,大家就知道这条信息可能有商业背景,不会盲目当成AI替你选出的最优解。这在技术上实现没有任何难度,关键是标成什么样子。现在AI大模型的对话窗口和背后的商品购买链接还没有完全打通,标“广告”还是标“商业信息”,边界还比较模糊,需要随着业态发展再细化。但大模型对答案的出处提示、风险提醒,现在就可以做到。

  姚金鑫:前台机制最容易落地——广告和自然回答分区展示,明确标注“赞助”或“商业内容”,允许用户了解推荐原因、关闭或投诉,平台短期内就能做到。真正决定行业长期健康度的是后台机制:商业内容和自然回答的证据链是否真正分开,各环节是否可提供审计日志,模型对不同来源是否做了可信度分级,高敏感领域是否有“商业内容不得进入主答案”的硬规则。前台标识容易补,后台的证据过滤、可信源加权、污染清洗,仍在形成过程中。

  何延哲:平台在RAG技术应用时还可以做更严格的过滤——比如提高官方信源的引用比例,对官方和非官方来源做交叉对比,不确切的尽量不引用。“投毒”式GEO不是零散、偶发的信息失真,而是持续、批量的操控。面对这类异常模式,平台如果建立起预警和识别机制,并不是完全发现不了。

  姚佳:大模型技术迭代很快,虚假信息、“投毒”、代操作服务等新情况不断出现,相关灰色利益链条也在快速形成。技术发展本身是客观趋势,但对滥用行为必须及时规制。因此,监管也要同步跟进,防止问题扩散蔓延,误导消费者,并损害大模型技术发展的整体声誉。

  主持人:技术上并非无能为力,那法律上呢?很多“投毒”内容并非平台主动投放,而是通过第三方平台发布再被大模型抓取。AI平台能否以“被动抓取”为由减轻责任?

  廖怀学:平台能否减轻责任,关键不在于是不是“主动投放”,而在于对结果有没有实质控制能力、是否因相关推荐获利、有没有尽到合理注意义务。《生成式人工智能服务管理暂行办法》明确规定,AI服务提供者应当采取有效措施提高生成内容的准确性和可靠性,这是底线合规义务。若平台建立了有效的过滤与溯源机制并确实履行,其责任程度会相应不同。但平台的不作为,不能拿“看不见”当理由。

  主持人:现实中品牌方往往委托GEO服务商操作,事后却说“我不知道服务商用了什么手段”,那各方该如何规范呢?

  廖怀学:《互联网广告管理办法》明确规定,广告主对广告内容的真实性负责,这个责任不因委托第三方而免除。品牌方是GEO服务的发起者和最终受益者,用“不知情”作为抗辩,在行政监管和民事责任判定中的效力很有限。若从责任划分角度看,可以大体遵循“谁受益、谁负责,谁干预、谁受限”的准则:品牌方对内容真实性承担首要责任;GEO服务商须确保手段合法,留存完整操作日志;内容平台应强化对“投喂”源头的合规审核;AI大模型平台则按干预深度分层定责——被动抓取时承担AI服务合规义务,一旦存在受托干预或算法推荐行为,须额外履行广告标识、内容审核等义务。同时,市场监管部门有权进行相应的行政处罚,包括罚款、责令停止违法行为、没收违法所得等。

  规则有待完善,平台和用户现在能做什么?

  主持人:制度完善需要时间。在此之前,平台光靠自律够吗?

  姚金鑫:平台自律是必要的,但不充分。一个AI平台同时承担认知服务和商业转化两种职责,这两个目标天然存在张力。平台说没有让广告改变答案结论,就需要有公信力的第三方来验证;平台说没有把聊天内容用于广告画像,就需要外部力量来穿透检查。这不是单纯的技术检测问题,而是一个自我监督困境。现阶段真正能做到的,是把前台透明化先做起来,同时逐步推进后台可审计化。

  何延哲:3·15之后有的大模型应用已经迅速行动,加了标识、做了调整——平台自律走在了前面。因为平台直接面对用户,最先感受到信任压力。接下来的节奏应该是平台自律为先,行业协会跟进指导,监管部门在把握技术发展规律的前提下加快立法立规进程。让恶意乃至“投毒”的信息被AI采纳得越来越少,而标识是最快的一步,也是信任重建的起点。

  主持人:用户又该怎么办?

  姚佳:要做一个聪明或者不轻易信任AI的用户。大模型时代信息更丰富了,但并不意味着可以放弃判断力。要把AI的回答当作参考,而不是权威,重要决策仍然需要多方面搜集信息,交叉验证。如果发现明显不符合常识或者一般判断的推荐——比如一个从没听说过的品牌突然被AI说成“销量第一”——留存证据、投诉举报。投诉增多,监管就会关注,环境就会优化。早期搜索引擎也曾深陷虚假信息乱象,后经监管整治、行业自律和消费者协同共治,才得以扭转,一些经营者滥用大模型的行为或正处于类似的治理节点。

  主持人:从搜索引擎到大模型,信息入口换了一代,广告伪装成答案的风险也换了形态。AI越被信任,答案就越要经得起检验。

  最后,让我们看看几位特殊“嘉宾”的观点。

  提问:平台识别GEO“投毒”到底有多难?正常内容适配与恶意投毒之间,边界能否划清,又该如何治理?

  豆包:识别GEO“投毒”极难,正常优化与恶意投毒边界模糊、技术上难一刀切;但可通过技术+审核+溯源+合规组合拳实现有效管控。技术上抓异常+事实校验,运营上分级审核+信用约束,合规上溯源+法律震慑,才能把正常优化与恶意投毒有效区隔、精准管控。

  千问:GEO“投毒”是数字时代的新型空间攻击,破局需技术迭代(动态分析模型)、规则进化(地域信用体系)与生态协同(立法+公众教育)三维联动。短期可借力AI提升识别精度,长期需构建“地理信息可信生态”,从源头压缩投毒生存空间。

  元宝:GEO“投毒”的治理是一场持久战。难点在于恶意投毒往往伪装成正常内容,且利用了AI模型的技术特性。平台必须从“被动审核”转向“主动防御”,通过技术手段识别批量伪造的特征,并配合监管严厉打击黑产链条,才能守住AI信息入口的纯净度。监管要把治理关口前移到批量投喂、虚假评价、灰色发稿等链条环节,压实品牌方、服务商、内容平台和AI平台的责任。对执法而言,可通过集中整治、典型案件曝光和规则细化,尽快压缩“广告伪装成答案”的灰色空间。

  【策划】黄书波 李坤晟 【主持人】薛园

【纠错】 【责任编辑:吴京泽】