AI代理风险剧增:每日21万次异常事件行为
随着企业将AI代理深度嵌入日常运营,其运行时行为正成为新的安全与合规风险来源。安全公司Codenotary的最新监测数据显示,其AgentMon平台每天追踪超过300万次AI代理交互,其中约21万次(占比7%)被标记为潜在不安全或不合规行为。这些异常并非来自传统恶意软件或外部攻击,而是源于AI系统在合法工作流中产生的意外或危险行为——这一发现标志着企业AI治理正从模型开发阶段转向执行层面。
AI代理运行时风险放大
Codenotary基于其AgentMon在企业客户环境中的部署数据指出,监测到的风险类型覆盖安全、合规与操作异常。具体包括:敏感信息泄露(如密码、API令牌、加密材料、财务记录、医疗数据及机密内部文件);AI代理试图超越授权边界,与未经授权的外部服务或受限内部系统交互;违反治理控制或合规策略;进入递归工作流或过度重试模式;提示注入攻击、上下文中毒迹象、不安全使用外部工具以及异常访问模式。这些事件发生在金融、客服、基础设施运维、法律、制造及内部知识系统等多个领域,且代理一旦连接多个内部系统并具备有限人工干预能力,风险会进一步放大。
风险源自内部行为:传统安全工具失效
Enterprise Management Associates总裁兼首席运营官Dan Twing指出,这一遥测数据反映了企业AI生产化中的关键转折:“大规模AI运行时遥测的出现是重要的里程碑。自主系统的挑战不仅是能否执行,更是是否正确解释状态、在既定护栏内运行并产生预期结果。”Codenotary首席执行官兼联合创始人Moshe Bar强调,企业正从孤立的AI实验迅速转向高度互联的AI生态系统,这些系统跨越基础设施、业务系统、API、应用程序和操作工作流。“我们在大规模观测中发现,AI运行时行为本身已成为企业必须持续监控、治理和强制的新操作与安全层。”
运行时治理成为企业AI基础设施新支柱
Codenotary将AgentMon定位为面向AI代理、自主工作流及相关基础设施的运行时可观测性工具,实时监测代理与工具、API、内部数据环境的交互,识别异常、违规或策略违例行为。Bar表示:“成功采纳AI的企业并非放慢部署速度,而是在运行时环境中直接构建可见性、遥测关联、策略执行和操作治理。”这标志着AI治理从模型开发阶段的测试验证,向生产环境中的持续执行监控转变。随着越来越多企业将代理系统用于跨应用的链式决策与任务完成,运行时治理正快速成为基础性企业基础设施。