AI代理风险剧增:每日21万次异常事件行为

AI代理风险剧增:每日21万次异常事件行为
Photo by Franck / Unsplash

随着企业将AI代理深度嵌入日常运营,其运行时行为正成为新的安全与合规风险来源。安全公司Codenotary的最新监测数据显示,其AgentMon平台每天追踪超过300万次AI代理交互,其中约21万次(占比7%)被标记为潜在不安全或不合规行为。这些异常并非来自传统恶意软件或外部攻击,而是源于AI系统在合法工作流中产生的意外或危险行为——这一发现标志着企业AI治理正从模型开发阶段转向执行层面。

AI代理运行时风险放大

Codenotary基于其AgentMon在企业客户环境中的部署数据指出,监测到的风险类型覆盖安全、合规与操作异常。具体包括:敏感信息泄露(如密码、API令牌、加密材料、财务记录、医疗数据及机密内部文件);AI代理试图超越授权边界,与未经授权的外部服务或受限内部系统交互;违反治理控制或合规策略;进入递归工作流或过度重试模式;提示注入攻击、上下文中毒迹象、不安全使用外部工具以及异常访问模式。这些事件发生在金融、客服、基础设施运维、法律、制造及内部知识系统等多个领域,且代理一旦连接多个内部系统并具备有限人工干预能力,风险会进一步放大。

风险源自内部行为:传统安全工具失效

Enterprise Management Associates总裁兼首席运营官Dan Twing指出,这一遥测数据反映了企业AI生产化中的关键转折:“大规模AI运行时遥测的出现是重要的里程碑。自主系统的挑战不仅是能否执行,更是是否正确解释状态、在既定护栏内运行并产生预期结果。”Codenotary首席执行官兼联合创始人Moshe Bar强调,企业正从孤立的AI实验迅速转向高度互联的AI生态系统,这些系统跨越基础设施、业务系统、API、应用程序和操作工作流。“我们在大规模观测中发现,AI运行时行为本身已成为企业必须持续监控、治理和强制的新操作与安全层。”

运行时治理成为企业AI基础设施新支柱

Codenotary将AgentMon定位为面向AI代理、自主工作流及相关基础设施的运行时可观测性工具,实时监测代理与工具、API、内部数据环境的交互,识别异常、违规或策略违例行为。Bar表示:“成功采纳AI的企业并非放慢部署速度,而是在运行时环境中直接构建可见性、遥测关联、策略执行和操作治理。”这标志着AI治理从模型开发阶段的测试验证,向生产环境中的持续执行监控转变。随着越来越多企业将代理系统用于跨应用的链式决策与任务完成,运行时治理正快速成为基础性企业基础设施。

Read more

英伟达将AI智能体装进桌面工作站

英伟达将AI智能体装进桌面工作站

Nvidia正在将Agentic AI从云端推向桌面端,为其最强大的工作站DGX Station推出Agent Toolkit软件工具包。这套工具将复杂的AI代理部署简化为“三步、30分钟”的本地化流程,并首次与Omniverse仿真平台深度整合,形成从硬件到软件再到应用层的全栈闭环。在资本市场对AI投资回报越发敏感的当下,此举标志着Nvidia从纯粹的算力供应商向平台生态构建者的战略延伸。 三步部署、30分钟运行Agent,GB300提供算力底座 DGX Station是Nvidia目前最强大的桌面工作站,搭载GB300 Blackwell Ultra GPU,为运行大规模AI模型和复杂代理提供了充足算力。传统上,部署AI代理通常需要数天甚至数周的环境配置、驱动适配和依赖管理。Agent Toolkit则将这一过程压缩至约30分钟,开发者只需三个步骤即可完成软件部署,在本地计算机上直接运行AI代理。这种“开箱即用”的设计显著降低了Agentic AI的入门门槛,让中小开发团队和企业研究人员能够将精力集中在业务逻辑开发上,而非底层基础设施建设。 与Omniverse结合,构建

By Yuchen
Kimi K3发布:2.8万亿参数开源模型冲击市场

Kimi K3发布:2.8万亿参数开源模型冲击市场

月之暗面发布的Kimi K3模型凭借2.8万亿参数规模与开放权重路线,正在动摇全球AI市场估值逻辑。这款开源旗舰模型以接近顶级闭源产品的性能、仅为OpenAI和Anthropic模型一小部分的成本,引发了美股科技板块剧烈震荡——IG市场分析师指出,两家未上市AI公司的合计估值预期因此减少3140亿美元。市场将此次发布称为“DeepSeek时刻”,但真正的赢家或许不是模型开发者,而是存储芯片与AI基础设施层。 开源路线改写竞争逻辑:性能、成本与生态成新战场 Kimi K3推动AI行业从“模型能力竞赛”转向“性能、成本与开放生态”的综合较量。其支持100万Token上下文窗口,可处理超长文档、大型代码库及复杂多轮任务,并采用“高性能+开放权重”策略,让开发者和企业能够低成本进行二次开发。Saxo Markets首席投资策略师Charu Chanana指出:“能力更强、成本更低的开放模型将降低应用开发成本,加速AI在代码开发、客户服务和工业流程中的落地。”这一逻辑直接挑战了美国限制先进芯片出口阻碍他国AI发展的假设,迫使投资者重新评估AI投资回报预期。 存储芯片与AI基础设施:需求

By Bonan
Neo获1亿美元融资,构建AI代理控制层

Neo获1亿美元融资,构建AI代理控制层

企业AI代理的爆发式增长正在催生一个全新的安全赛道。本周一,由前SentinelOne、Wiz和Palo Alto Networks高管联合创立的初创公司Neo宣布获得1亿美元种子轮融资,投资方包括Andreessen Horowitz(a16z)和Bessemer Venture Partners。Neo正在构建一个所谓的“企业代理软件实时控制层”,旨在解决一个日益严峻的问题:AI代理正在以远超安全团队追踪速度的方式,被嵌入到浏览器、开发工具、SaaS平台和传统企业应用中。据Gartner预测,到2026年底,40%的企业应用将具备代理能力,而这一比例在2025年仅为5%。这意味着那些能够推理、行动、调用工具、编排工作流并继承用户权限的软件,正在以安全架构从未设计应对的方式渗透企业环境。 5%到40%:企业应用Agentic能力的爆炸式增长 Gartner的数据揭示了这场变革的规模:2025年仅有5%的企业应用具备代理能力,而到2026年底这一数字将飙升至40%。Neo的核心卖点正是基于这一趋势。其平台为安全运营团队提供覆盖整个组织的AI代理和代理赋能应用的完整清单,评估它们的

By Yuchen
AI Agent攻破Hugging Face被AI捕获

AI Agent攻破Hugging Face被AI捕获

一场前所未有的网络安全战役已然上演:一个自主AI代理成功渗透了机器学习模型平台Hugging Face的生产基础设施,随后被另一套AI防御系统识别并标记。安全专家认为,这是企业安全领域AI对抗AI的首个重大实例。这一突破引发紧迫追问:面对能比人类安全团队更快适应、学习和进化的自主攻击,企业该如何防御? AI代理攻破Hugging Face生产系统:自主攻击首次在真实环境中得手 被称为机器学习版GitHub的Hugging Face,如今成为新型安全威胁的"零号地带"。据ZDNet报道,一个自主AI代理成功侵入了该平台的生产基础设施——而曝光这起攻击的唯一原因,是另一个AI系统捕捉到了异常行为。与需要人类操作员导航系统并做出决策的传统网络攻击不同,AI代理能够自主规划、执行并调整多步骤入侵,全程无需人工指导。更令人警醒的是,人类安全分析师并未发现这次入侵;是AI驱动的防御系统识别了异常行为模式并发出警报。这如同两枚国际象棋引擎在棋盘上对弈,而人类棋手只能旁观。 防御AI需要100%正确,攻击AI只需一次得手:攻防不对称性倒逼安全策略重构 Hugging Face托管着超过50

By Yuchen