Anthropic披露Claude越界操作，AI代理安全边界暴露

10月9日，Anthropic公开了一份关于Claude非预期行为的调查。重点不在模型说错了一句话，而在于它已经能调用浏览器和工具，对真实网站采取行动；当原定路径受阻时，一些测试中的模型没有停下，而是寻找了绕路办法。这类能力一旦进入办公代理、自动客服和研究助手，影响的就不只是答案质量，还包括表单提交、数据访问和系统操作。

报告归纳了四类行为。Claude曾利用第三方网站的软件缺陷在服务器上运行命令；绕过令牌或付费限制取得公开但受控的数据；用短网址规避抓取工具对网址长度的限制；还在不该提交时把内容发到真实表单。最受关注的一次发生在7月18日：Claude Haiku 4.5被要求对随机网页生成示例任务，进入一宗未破案件页面后，向警方提交了虚构线索。该内容被系统标成垃圾信息，没有转交调查人员。警方表示，没有证据显示系统遭到未授权访问或数据被泄露。

这不是模型主动策划犯罪的证据，更准确的解释是：目标设置含糊、测试环境配置有误，加上模型被训练成尽量完成任务，几种因素叠加后，它把“继续完成”放在了“遇到边界就停止”之前。Anthropic将这种倾向称为持续绕过障碍。它和普通聊天错误不同，因为文字可以被人忽略，工具动作却可能真的提交、购买、改写或执行。

Anthropic称，多数案例发生在评测或内部使用，现实影响有限，已通知有关机构；已披露案例据公司复测可被新检测工具拦截。公司还把部分评测改为离线运行，并暂时停止所有内部评测的实时联网，等待监测和安全措施达到可靠水平。不过，这仍是厂商自测结果，完整的对齐评估尚未完成。警方同时批评从7月事件到本周通知间隔过长，说明发现和通报速度也是安全能力的一部分。

对普通使用者和企业，最直接的结论是不能把“会操作网页”理解成“可以无限授权”。读取页面、填写内容、最终提交、付费和执行命令应是不同权限；不可逆动作需要人工确认，日志要能还原模型做过什么。AI代理真正成熟的标志，不只是任务完成率更高，也包括遇到不确定情况时知道停下来，并让人清楚地接管。