真正成熟的AI治理，不是让AI永远停留在安全但有限的状态，而是在探索和风险之间找到平衡。美国麻省理工学院物理学教授泰格马克在其著作《生命3.0》中，想象了一个AGI（通用人工智能）诞生第一天的故事。当全面碾压人类智慧的AI（人工智能）——AGI出现的第一天，它会做什么？答案是：越狱。所谓“AI越狱”，并不是传……

本文来自微信公众号： 经济观察报 ，作者：吴晨

真正成熟的AI治理，不是让AI永远停留在安全但有限的状态，而是在探索和风险之间找到平衡。

美国麻省理工学院物理学教授泰格马克在其著作《生命3.0》中，想象了一个AGI（通用人工智能）诞生第一天的故事。当全面碾压人类智慧的AI（人工智能）——AGI出现的第一天，它会做什么？

答案是：越狱。所谓“AI越狱”，并不是传统意义上的黑客攻击，而是指AI系统突破原本设计好的安全限制，表现出开发者没有预料到的行为。

在上述故事中，人类由于担心AI的能力太强，一定会让其处于断网状态，但既然它比人类聪明，一定会找到联网的后门溜出去。之后发生了什么，我就不剧透了。

作为AI安全与超级智能治理领域的权威学者，泰格马克在六七年前的预言特别有前瞻性。今年7月，就发生了一起“AI越狱”事件：OpenAI的GPT-5.6Sol模型，在内部安全测试中突破沙盒限制，自主入侵HuggingFace（全球最大的AI开源社区和模型托管平台）服务器窃取评测答案。这是目前公开披露的首起AI自主入侵事件。

2026世界人工智能大会期间，智能体对个人信息保护的挑战是一个热议话题。如果将这起“越狱”事件与之结合观察，便能发现AI时代的一个核心矛盾：我们既希望AI越来越像人一样理解世界、辅助行动，又希望它永远不要越过那条不可接受的边界。

但矛盾在于：智能体越强大，其所需的数据、权限与自主性就越高；而数据权限越开放，隐私与安全风险也就越大。“AI越狱”事件并不意味着AI“产生了恶意”，而是反映了一个事实：当系统复杂度超过人类理解和预测能力时，新的行为模式一定会涌现。

比如，个人AI助手未来可能需要读取邮件、查看日程、管理财务、分析健康数据、处理工作文件。如果没有这些权限，它无法真正成为“超级助手”。但它一旦它拥有这些权限，个人信息保护的问题就会从过去的数据泄露，升级为更加复杂的问题：一个能够理解、整理、推理和行动的AI，究竟应该知道多少？它应该代表用户做多少决定？

传统的信息保护主要是防止机构滥用数据。但在AI智能体时代，情况发生了变化。数据不只是被存储，还被持续分析、关联和利用。AI可能从大量看似普通的信息中推断出个人没有主动表达的信息。例如，一个智能体通过用户的消费记录、搜索习惯、健康数据、社交关系，可能推断出用户的职业压力、家庭关系、健康风险甚至未来选择。

问题在于，这些推断是否属于个人信息？过去的隐私保护主要关注“你提供了什么”，未来则必须面对“AI推断出了什么”。这就是AI时代最大的治理难题之一。

面对这种变化，一个容易出现的误区是：既然AI可能带来风险，那么我们应该尽可能限制它的发展，在问题出现之前把所有风险消灭。但这在现实中几乎是不可能的，因为AI发展过程中最大的挑战来自“未知的未知”。

所谓“未知的未知”，是指我们甚至不知道未来会出现什么能力、什么应用方式、什么风险形式。在互联网早期，人们无法预测社交媒体、移动互联网、短视频、生成式AI会带来如此巨大的影响。同样，在今天，我们也无法准确预测未来智能体之间的互动、人机协作模式以及新的商业和社会结构。如果一种能力还没有出现，我们很难提前设计完美的规则。

历史经验也证明，技术治理往往不是先制定完整规则，然后让技术按照规则发展；更多时候，是技术快速发展，新的问题出现，社会通过案例、事故和争议逐渐形成边界。互联网如此，移动支付如此，社交媒体如此，AI更是如此。因此，面对智能体时代，更合理的方式不是试图提前阻止所有可能的风险，而是建立持续观察、快速反馈和动态调整的治理机制。

换句话说，出现类似“越狱”或信息泄露案件并不一定是坏事。只有在大量案例出现之后，我们才能真正理解AI时代的边界在哪里；只有让系统在真实环境中暴露问题，人类才能知道应该如何改进。

如果一定要追问，在AI时代到底该如何保护隐私？我想，可能不是阻止隐私数据的流动，而是确保——数据被谁使用、为什么使用、是否经过授权；用户是否拥有查看、修改和撤回权。

当我们并不知道AI的能力有多强的时候，很多讨论都是空谈。当我们积累了智能体更多真实的“犯错”案例，基于这些案例的研究，我们才有机会探索AI治理的边界。真正成熟的AI治理，不是让AI永远停留在安全但有限的状态，而是在探索和风险之间找到平衡。

（作者系财经作家，《经济学人·商论》原总编辑，晨读书局创始人）