AI治理关键：从Agent事件看风险与框架
随着人工智能技术的飞速发展，AI智能助手（AI Agent）正从概念走向现实，为企业与个人用户带来前所未有的效率提升。然而，近期一款于2025年推出的开源AI Agent在广泛采用后，暴露出一系列潜在风险，包括系统漏洞、非预期操作行为及敏感资料处理问题，引发监管机构如香港数字政策办公室和个人资料私隐专员公署的警示。这一事件突显了在AI应用日益普及的背景下，建立清晰且一致的AI管治机制对企业及整体社会的紧迫性。本文将深入探讨AI Agent的核心风险、管治框架的关键要素，以及如何借鉴国际标准来构建负责任的AI生态系统。
AI Agent概览及已披露的主要风险
与主要用于对话的AI聊天机器人不同，AI Agent的核心设计在于“执行行动”，能够根据指令自主完成任务，并与外部工具如即时通讯软件、电子邮件系统、网上银行等高敏感度系统整合。其“长期记忆”能力和可扩充的“技能”模组，使其在个人及企业环境中被广泛应用，例如自动分类电子邮件、草拟回覆内容，以及整合AI代码助理以加速软件开发。
然而，为执行这些行动，用户需授予AI Agent高度系统权限和敏感资讯，如电邮帐户凭证，这显著扩大了潜在风险面。自推出约六个月后，使用者开始反映技术层面的问题，包括漏洞（如CVE‑2026‑25253）、非预期结果（如重要电邮被删除），以及敏感资料处理疑问。这些风险促使部分企业重新评估AI Agent的可靠性，并引发监管机构的关注。
代理式AI趋势与管治的关键角色
AI Agent的应用反映了AI发展的新阶段，使用者正探索更高自主程度的系统。在实际情境中，AI的角色可能从辅助执行延伸至承担更多任务，而管治架构在此过程中扮演关键推动力。企业引入AI Agent时，需通过合适的管理与制度安排来支持其使用，确保安全与合规。
安全引入AI Agent前，企业必须考虑多个关键管治层面，包括：
- AI角色与职责：清晰界定企业、高层、营运部门及员工的责任。
- 问责机制：明确AI Agent行为的最终问责人，机器本身不承担法律责任。
- 合规：确保全生命周期符合相关AI法例，如《EU AI Act》。
- 风险评估：系统化识别潜在风险，并制定控制措施。
- 负责任的AI开发：确保公平性、稳健性、安全性、隐私及数据管理。
- 可信度核查：审及核查大型语言模型是否可靠、不歧视且可预测。
- 人为监督：明确哪些任务可全自动执行，哪些必须有人为覆核。
- 透明度：确保决策与行动有纪录、可追溯且具解释性。
- 持续监察：建立即时监察机制，确保AI Agent在动态环境中保持预期表现。
- 事故应对：制定通报、应变及检讨机制。
AI管治框架与最佳实践指引
回应AI管治需求是一个长期过程，需要企业持续建立和完善架构。鉴于企业规模、行业属性及应用情境各异，不存在“一体适用”的模式。业界已发展出多项权威国际标准与框架，为企业提供实务指引：
- 《欧盟人工智能法案》（EU AI Act）：全球首个具全面性及法律约束力的AI法规框架，采用风险导向管理模式，禁止“不可接受风险”的应用，并对“高风险AI系统”施加严格管治义务。
- ISO/IEC 42001:2023：全球首个可认证的人工智能管理体系国际标准，为企业建立系统化方法，涵盖风险管理、伦理考量及合规要求，并通过第三方认证展示承诺。
- NIST AI风险管理框架（AI RMF）：由美国国家标准与技术研究院发布的自愿性框架，协助企业在全生命周期内系统化识别、评估、管理及监察风险，强调可信度、透明度及问责性。
总结
AI Agent事件揭示了自主型AI在实际应用中的多重面向，既带来业务可能，也提出管理、风险与责任分工的课题。通过参考EU AI Act、ISO/IEC 42001:2023及NIST AI RMF等框架，企业可建立系统化的管治安排。展望未来，随着AI技术持续演进，定期检视及调整管治框架将有助于企业回应新情况，支持AI系统在持份者关注下的持续应用。如要了解更多详情，可浏览SGS TIC Mall网站。
