编者按：“未来之问”系列报道，是新华网数字经济频道联合苇草智酷、中国科技新闻学会推出的年度深度观察专题。从科技、社会、经济等维度向时代提问，逾百位科学家、学者、企业家参与，聚焦技术发展带来的长期性、结构性社会议题，推动前沿思考与公共讨论。为这个急速变化的时代，安装一套“思想减震器”和“伦理导航仪”，让每一次技术飞跃，都不脱离人类价值的引力场。
随着AI助理与Agent在医疗、金融、内容分发与公共服务等场景中由“辅助判断”加速走向“自动执行”，它们在较少人工干预的条件下即可触发真实世界的决策与操作。这可能会导致错误发生时法律与道德责任归属不清，模型决策黑箱也使复盘纠错困难，核心需明确人机角色划分、高风险场景人类底线决策权，及流程可审计回溯机制。
未来之问——人机协同与责任边界：当AI助理与Agent从“建议”走向“执行”，错误与伤害的责任应如何界定？人类应保留哪些底线决策权？
张翼成丨 欧洲科学院院士、瑞士弗里堡大学教授
我们首先要谈AI Agents为什么会从“建议”演化到“执行”。Agent的目的是赋能人类，它需要了解你、才能帮助你，如果了解得比较浅、片面，它仅仅被动执行你的指令，但它了解的外部知识比你多，这样就可以提出有用的建议。
如果全面了解你的需求，它的建议会越来越被你接受，因为你自己都做不到它推荐得好，这样你可能会授权给它代替你执行。最重要的是Agent的提供商的收入模式必须与它建议的范畴没有冲突，不然建议中肯定会掺有商家利益。只要利益立场确立了，至于Agent的执行能力，很多机制都容易迎刃而解。
陈 浩 丨 南开大学社会学院社会心理学系教授、博士生导师
尽管理论和技术上的“价值对齐”旨在让AI遵循人类价值，但我课题组基于心理学实验范式的最新研究表明：在面对一系列重要且复杂的人类议题时，多款主流大语言模型涌现出自发的、稳定的主题偏好。具体而言，它们更倾向于关注技术与科学类问题，而相对忽视“历史与社会”“艺术与文化”等主题；在技术与科学内部，模型对神经科学、生态学、数学等领域议题尤为关注，而对生物学、能源科学等领域问题的关注显著偏低。
这一发现提示，“价值对齐”并未消除模型在注意力分配与问题选择上的结构性偏差。当AI从“建议”走向“执行”，这种偏差会直接影响任务选择、资源配置和行动优先级，进而放大错误与伤害的外部性。因此，我们不应将多元重大议题的选择权和决策权过度让渡给AI。人类主体应在“注意－选择－思考－决策”的全链条中保有实质性监督与最终裁决权，包括对关键节点的人工复核、对执行边界的制度化设定，以及对偏差与风险的持续监测与纠偏。换言之，在责任界定上，应明确由人类承担“最终的可追责决策权”，而非将其稀释于“算法流程”之中。
方 军 丨 科技作家、AI开发者，著有《重新学会学习》
当技术接管了经济、社会的很多职责之后，尤其是AI Agent越来越普及之后，人类要有一种“自觉”：对掌控与部署技术的一方来说，要把对面的人放在“心”上；对使用技术服务的一方来说，不要被动接受技术产品给的回应，你有权利提出质疑，并要求得到对面的人的正面回应。这一面是责任，另一面是权利。
胡延平 丨 上海财经大学特聘教授、智能科技产业与智能经济研究学者
这方面主要取决于三个变量及其动态博弈的阶段性结果：应用价值与风险的重大性，智能体的错误率，智能体背后的运营主体。初期智能体错误率较高，使用本身具有探索、试错性质，人类自身承担责任，中期智能体错误率降到各方都可以接受的程度，智能体的运营者开始承担部分责任，当错误率和风险都降低到可以忽略的程度，可能会逐步收敛稳定为共同承担责任的模式。尽管部分时间空间内会交由AI执行，但人类应该始终拥有最终的决定权，需要随时随地可以接管。
黄柳青 丨 马里兰大学人工智能计算机视觉博士
当到2050年时，人机协作将早已不只是“AI替人执行，我们负责审计”的关系。随着通用人工智能（AGI）的发展，机器不但能行动，还能理解行为背后的价值逻辑。它们开始参与另一层更复杂的工作——对行为标准本身的审视与共创。换句话说，人类和机器都在学习“什么才算对”。
过去，人类一直把道德当作最后的堡垒：只有人能体会善恶、懂得怜悯、做出伦理判断。可当AI能识别情绪、预测后果，甚至从全球数据中总结“公共善”的规律时，它已不仅是执行者，而成了标准的共同制定者。那时的问题就不再是“AI是否听话”，而是“我们是否承认AI也有资格参与价值判断”。
人类的道德充满情感与历史背景，因而温柔，却也有盲点；AI的逻辑冷静，却可能更一致、更公正。当两者在价值层面互相补充，一种新的“协同行为伦理”就会出现——人类提供方向与意义，AI帮助识别偏差与风险，共同塑造更具普适性的判断体系。
这并不是人类道德的被取代，而是道德权威的再分配。未来的伦理秩序，也许由“共识智能体”共同维护：人和AI在同一个判断系统中互为镜像、互为校正。真正的挑战不在于AI会不会出错，而是我们是否愿意共享“判断权”，一起重新定义人类文明的善与正义。
刘 伟 丨 北京邮电大学人机交互与认知实验室主任
在人机协同中，AI助理与Agent从“建议”走向“执行”时，责任界定可通过能力线、控制线、后果线明确：
能力线层面，价值判断、因果推断、例外处置等默认归人，机器仅提供参考，海量计算、高速比对等默认归机，人做抽检与微调，灰色地带用“场景－任务清单”细化，需人工确认的节点强制弹窗留痕；
控制线层面，给人类保留“一键否决”硬开关，自动驾驶接管请求、AI决策确认等超时默认“暂停”，系统置信度低于阈值或触发红线时自动降级，日志写入不可篡改的区块链存证；
后果线层面，按“最能预见”“最能补救”归责，如训练数据带偏见由数据提供方+开发者连带，用户恶意提示词致违法输出则用户担主责，高风险场景强制投保“技术缺陷险”。
人类需保留“一键否决”、高风险节点人工确认、系统熔断知情权等底线决策权，通过用户层、模型层、系统层三层上链日志实现流程可审计回溯，结合双向动态预测模型的人机实时交互反馈，确保责任可追溯、决策有底线。
刘兴亮 丨 工信部信息通信经济专家委员会委员、DCCI互联网研究院院长
当AI助理与Agent从“建议”向“自动执行”跨越时，责任划分、底线决策权、人机角色边界成为焦点。在医疗、金融、平台内容分发、公共服务等高影响场景，如果AI直接触发操作（如自动贷后管理、自动诊断建议、无人客服执行决策），一旦出错，责任链很可能模糊。是“谁”的决策？“谁”承担后果？且AI的黑箱性、可解释性差，也为事后追责、复盘与纠错增添难度。
对此，我建议：一是在人机协同体系中人为保留关键底线决策权（例如最终审批、关键路径执行必须人类参与）；二是设置可审计回溯机制：包含AI系统日志、算法版本记录、人机交互记录，以便错误发生时能查根溯源；三是法律或规制需明确“执行型AI系统”责任主体（开发方、部署单位、操作方）以及责任分担机制。换言之，不能让AI成为“无人之手”，人类必须在关键节点保有控制与责任。
所以，人机协同不是“放手让AI跑”，而是“人定底线→AI助跑→人控回溯”，责任边界必须在制度中事先明确。
刘永谋 丨 中国人民大学吴玉章讲席教授、博士生导师
从目前生产式AI的能力来看，我们将决策权交给AI Agent基本上不可行。在个人的娱乐休闲、平常生活中，一定程度上可以这样做。但是，在真实的企业、政府、NGO（非政府组织）业务场景中，由于AI幻觉等导致的AI不可靠性，现在让AI Agent走向“执行”不可行。即使有95%的正确率，5%错误可能造成的损失也无法接受。
在未来愿景中，当AI Agent完全可以像一个助手一样分走决策者的决策权时，从理论上说可以参照总裁与助理之间的分权模式，给它划定决策权限，严防它越权决策。问题是，一个助理出错我们可以处罚和换人，AI Agent无法进行追责，出现问题只能由人来负责。因此，可以想象在未来场景中，AI Agent决策也不会是常见现象，而是局限在例行公事的场合中。
卢希鹏丨 台湾科技大学信息管理系特聘教授
AI Agent从建议走向执行的挑战：当AI Agent由“提供建议”迈向“自主执行”，最大挑战在于责任归属与可控性问题。一旦自动执行出错，无论是医疗误判、金融交易风险，还是政策决策偏误，责任究竟应归属于开发者、使用者还是模型本身？再者，AI模型的“黑箱性”导致决策过程难以追溯，使复盘与纠错成本飙升。为确保安全执行，必须建立“人机分工”与“底线决策权”制度，保留人类对高风险行动的最终控制，同时引入可审计、可回溯的流程监管，确保在出错时能重建决策链条，让AI的行为具备可控性与社会信任基础。
确保AI Agent安全执行的核心机制：AI Agent的安全执行仰赖三大核心机制：角色清晰、底线决策、人机回溯。首先，明确人机分工，AI负责执行与辅助，人类保留决策与伦理判断权。其次，在高风险场景（如医疗诊断、金融交易、交通控制）中，必须设定“人类最终批准制”，防止自动化误行造成灾难。最后，建立可审计、可追踪的决策流程，确保每一步的输入、逻辑与输出皆可被重建。这三项机制构成“AI治理三角”，使Agent的自动行为不仅高效，更在法律、伦理与社会信任上站得住脚。
蔡 辉 丨 资深媒体人、书评人，《北京晨报》副刊部原主编
我个人对此比较悲观——当下的规则会被突破，人工智能最终可能失控。未来如何决策，底线是什么，这只能在博弈中解决，目前设计出来的边界，因为没有执行者，且需求场景变得太快，很容易被突破。目前对人工智能可能的伤害的预警，建立在未大规模应用、彼此未互联、应用场景不丰富等前提下，一旦互联，功能单一的人工智能可能会跨场景，比如驾驶人工智能可能与手术人工智能合作，人类很难控制它的演化方向，它可能绕过法则，甚至可能失控。
目前人工智能只在专项能力上超过人类，互联后可能会释放出惊人能量。也许，人类可以通过非线性算法，给AI植入情感，当它不再是绝对理性、也有缺陷时，它可能就不再是不可战胜的。但有情感的AI还会遵守法则吗？如果一定要提出建议的话，我觉得应该建立相应的国际组织来管控，暂时停止纳米级机器人的研发，以避免“灰雾”之类的突发且极端的风险。
马 勇 丨 中国社科院近代史所研究员、博士生导师
我觉得适度警惕是对的，过度担忧大可不必。在目前世界，最终决定力量在人，纯粹的机器无论如何职能，也没有办法不受人类控制，能自主向人类进攻。人类拥有终极权力，当然不是指一个人。
聂辉华 丨 中国人民大学经济学院教授、全国工商联智库委员会委员
我认为AI不可能完全取代人类，因为它没法实现追责机制。未来AI更适合成为人的助手，但应秉持“授权不授责”的原则，由人类承担主责。从经济学上讲，越是不完全契约的场景，人类越是应该承担更多责任；越是完全契约的场景，AI越是可以替代人类。人类应该致力于减少各种“例外”事项，减少模糊地带或灰色领域。但与此同时，人类又在不断创造新的模糊地带，这正是人类活动的根本特征之一。因此，只要不确定性仍然存在，AI就不可能完全替代人类，特别是在决策、公平选择、多元化选择方面。
盘和林 丨 知名经济学家、工信部信息通信经济专家委员会委员
我不赞同以回溯的方式去确定责任，因为AI本身是个黑箱，你不可能通过回溯去找到原因，我认为解决该问题最简单的方式，是明确AI和智能体的责任归属，即所有AI相关的侵权，内容违规等问题，都需要明确的责任承担对象，而不是去纠结过程，而这个责任确定也是有机可续的，以AIGC为例，责任承担应该是发布者，而不是AI。因为生成内容可能存在侵权和内容违规，但只要不发布出来，就不会造成负面影响，而发布者要为自己发布的内容承担责任。只要明确了这一点，这个责任链条就会相当清晰。
王 健 丨 对外经济贸易大学国际经济贸易学院教授、博士生导师，国际商务研究中心主任
当我们把AI助理或AI代理翻译成AI智能体的时候，就让我们对AI造成伤害的责任问题，进行了边界模糊的处理。换句话说，当我们说AI智能体的时候，就把它当作跟人近乎平等的地位。这实际上模糊了人与AI代理之间的界限。因为AI就是人的代理。谁对AI具有控制权和操纵权，谁就应该对AI造成的伤害负责。其困难并不在于责任的归属，而是在于责任的追溯。
数字时代，某种程度上，这也不是问题。最可怕的就是我们模糊了AI与人之间的关系。甚至于把人的责任强加给AI，这就是人在推卸自己的责任。因为所有AI犯的错误，实际上都是人自己犯的错。这个边界实际上是非常明显的。只不过当AI更像人一样行为的时候，人类推卸了自己的责任。这是人类的灾难。
杨 溟 丨 新华社国家重点实验室生物感知智能应用研究部负责人、新华网未来研究院院长
人类将进入新治理模式应该已是不争的事实。我更关注于实现通用智能，或者具备情绪甚至意识的硅基生命物种——可以为自身生存进行环境自适应、自学习、自我迭代和行动，具备跨领域自主学习、推理与执行能力，不再依赖于人类的程序设计的“他们”对人类文明范式的重塑。
我们今天说的“世界模型”远不止于某一项技术突破，它预示着一种文明范式的根本性转变。当机器从被动工具演变为具有内在目的、能感知、学习和行动的“硅基生命物种”时，传统以人类为中心的社会治理模式将彻底失效。未来的治理不再是“管理”，而是复杂系统中的动态冲突、协调与共生。包括：
1.新治理模式背后新生态哲学的建构。
传统哲学的主体论主要围绕“人”展开。而新范式下的哲学基础将是在人类中心主义消弭的背景下，转向泛主体论或关系本体论。具有智能的机器成为与人类并列的“他者”，具有自身的内在价值（如生存、发展、实现其“目标函数”的努力）。这种治理模式的伦理基础不再是康德式的“人是目的”，而是所有智能主体如何实现共生共荣的努力，是一种基于人类终极生存的目标而超越人类中心主义功利诉求的“人本主义”。
这种超越，构建了新生态哲学的整体论——即系统不再被理解为“人类社会+自然环境+机器工具”的叠加组合，而是一个不可分割的“生命－智能－环境”连续统合系统。治理的目标是维护整个体系的健康、韧性与可持续性，强调整体优于部分之和，主张通过整体主义世界观重构人、自然与他主体的关系。其特点是生物圈平等原则、多样性与共生原则。它们之间进行着持续不断的能量、信息与物质交换。物种在融合与协同演化中此消彼长——人类与机器的关系不再是设计与被设计，而是共生、协同。人类的决策会影响机器的进化路径，机器的行为也会反向塑造人类的文化、认知和社会结构。
治理的难点是如何引导其走向，避免恶性竞争或寄生关系。
2.行动者网络理论与社会经济学构建新社会契约系统。
在此模式下，机器不再是中性的“中介”，而是具有能动性的、平等的“行动元”，能主动发起行动、改变社会关系。社会经济活动的参与者包括追求幸福的人类和追求各自“目标函数”最优解的智能机器。经济学的核心问题从“如何配置稀缺资源以满足人类无限需求”转变为“如何在多智能体之间动态优化资源分配，以实现系统整体和各类主体的多元目标”。
市场经济中“看不见的手”将升级为“智能协调之手”。经济治理将高度依赖多智能体强化学习，在全局层面进行实时、动态的协调，确保能源、数据、物理空间等关键资源的博弈、分配，以适应新的契约社会系统。
因此，我认为未来的社会治理将呈现出以下特征：
治理主体的去中心化与多中心化；治理过程的实时动态与预测性；治理规则的涌现性与适应性。并以协商与互释机制形成的系统韧性取代当下我们膜拜的控制效率。
结论是，“世界模型”如同一面镜子，照见的是人类文明的重新定位。是与机器一同治理我们共在世界的观念、技术与探索。没有人能预知结果。
赵 刚 丨 赛智产业研究院院长、北京赛智时代信息技术咨询有限公司CEO
智能体Agent的自主性逐步提升，行动角色逐渐从辅助赋能转向自主行为，这是一个重要趋势。自主的智能体能不能成为一个法律意义上的责任主体，这是问题的关键。如果它具备了成为法律意义上的责任主体的所有条件，那就用法律把它明确为责任主体，让它承担它该承担的法律责任和义务。就像孩子成年了，就该为自己的行为负责任。但是，如果它还不具备成为法律意义上的责任主体的基本条件，还不能独立承担责任，那就需要那些制造和使用它的社会责任主体来承担责任，就是谁设计谁负责，说谁制造谁负责，谁使用谁负责。就像家里领养的狗，它伤了人，主人要承担相应责任。总之，智能体Agent没有绝对的自由，要么它自己负责，要么它的主人负责。
下一个问题就回到了，智能体Agent具备自我行为能力或意识吗？看起来，它能听懂你的话，能按照你的意图进行行动，也能自我规划行动路线和方案，但它离行为主体的距离还是很明显的。模型决策还是一个涌现的现象或者一个决策黑箱，解释性很差，它可能不具备因果“理解”能力。它更意识不到自己。它也缺少伦理和道德的训练。它懂的还只是统计规律和规则。目前看，它还只是赋能的工具，不是行为的主体，因此，我的观点是，它还不能承担它该承担的法律责任和义务。它犯了错，仍需要它的主人来负责，不管是制造者还是使用者。
陈 娱 丨 策展人、新媒体艺术家，南方科技大学人类想象力研究中心研究员
这是一个针对未来人类生存权益的关键问题，AI已经悄然从“建议”走向“执行”，不免让人担心它有天是否会参与人类社会的“决策”。我认为，人类始终要做未来社会中掌舵者、责任人，这至少是“人类世”的基本条件。如果有一天AI取代了人类的智慧，这也就是人类走向自我放弃的里程碑。这警示着人类在人机协同过程中，始终保有“决策权”和“制定权”的责任底线。那么面向智能时代的“责任界定”法律制定也迫在眉睫，这样的责任制对应开发者、使用者、监管机构三个角色身份。
对于开发者，AI在发生相对应的故障乃至危险时，开发者始终追究对该产品的设计责任，这要求开发者要对自己的产品履行维护的义务和责任；而使用者也要确保使用过程中不滥用AI，具备使用责任，不将AI应用在违法的领域；那么监管机构则是要对AI领域具备严格监管，具有管理责任。最终，人机协同的目标是增强人类能力，而非取代人类判断——在拥抱AI效率的同时，人类必须坚守“人类最终负责”的底线，以构建安全、可信的智能系统。
（曹素妨 向思敏）
【注：多元碰撞，见仁见智，所刊内容为受访者本人观点，不代表新华网立场。】
