很少组织进行治理的 AI 风险

(SeaPRwire) –   大多数企业能告诉您有多少人类用户可以访问其财务系统。但很少有人能告诉您有多少 AI 代理可以访问。

近年来，企业关于 AI 的讨论集中在劳动力中断、投资回报率以及扩展用例的机制上。这些问题虽然重要，但越来越多地属于运营层面。一个更具结构性的问题正在浮现，它将决定 AI 是成为持久优势还是复合负债。

真正的风险不在于模型性能或媒体炒作。而在于自主 AI 代理在没有受管身份、可强制执行的访问控制或生命周期治理的情况下迅速扩散。为人类用户和传统软件设计的治理框架正被悄悄超越——很少有组织在系统地衡量这种风险敞口。

最近，这个问题变得更加明显，出现了一些平台，这些平台没有真正的保障措施来防止恶意行为者，并且有能力创建和启动庞大的机器人舰队。这些平台说明了不受管理的数字行为者扩散得有多快——以及一旦扩散开来，追踪它们有多困难。智能程序现在正在没有有意义治理的情况下工作，并且可以访问我们视野之外的系统和数据。

如果组织今天不针对 AI 代理实施工业级安全框架，我们将很快在关键任务的企业环境中面临后果。

不受管制的 AI 代理：下一个企业风险前沿

AI 代理在重要方面与传统软件和人类用户不同。当今大多数企业系统都围绕明确定义的身份构建。用户拥有命名账户，应用程序使用注册的服务凭据运行，并且根据既定角色授予访问权限，这些角色可以在必要时进行监控、审计和撤销。

自主 AI 代理并不完全适合这种模式。它们可以代表用户行事，与多个系统交互并在没有直接人工干预的情况下做出决策。在许多组织中，它们缺乏稳定的、受管制的身份。它们的访问并不总是与明确的策略挂钩。它们的生命周期很少从创建到退役进行管理。

研究人员强调了代理驱动环境中的弱点如何允许恶意指令、提示注入攻击或中毒数据在互连系统中迅速传播。在代理连接到敏感数据、财务系统或运营基础设施的企业中，即使是很小的治理缺口也可能升级为实质性风险。

换句话说，真正的风险不仅仅在于代理能做什么，而在于它们能访问什么。

真正的漏洞不在于 AI 模型，而在于基础

在我与从 AI 实验转向企业规模部署的组织合作的工作中，一种模式非常突出：最大的失败点很少是 AI 模型本身。更多时候，问题在于薄弱的数据基础和不完整的控制框架。

后果已经是实实在在的。合规失败、有偏见的输出和治理崩溃正在各行各业产生实质性的财务和运营损失。在几种情况下，当在部署后发现治理缺口时，修复成本已飙升至数千万。这些不是失控智能的例子。它们是运营失败。当在没有现代化身份治理和持续监控的情况下将 AI 引入复杂环境时，风险的增长速度超过了价值。

随着 AI 的采用扩展到集中式团队之外，紧迫性加剧。员工正在业务职能内部试验和部署代理，通常没有企业范围的可见性。自主权在组织内部的横向扩展速度超过了企业监管的适应速度。如果没有明确的身份、访问和监督标准，数字行为者可能会悄悄地积累权限和影响力，远远超出其预期范围。

这最终是一个架构准备就绪的问题。领导层应该能够随时回答三个问题：我们的关键数据驻留在哪里？谁或什么可以访问它？这种访问如何被验证和审查？

因此，安全地扩展 AI 需要运营重置。自主代理必须被视为企业内可问责的行为者。这包括明确记录角色和职责、定期审查周期以及与现有 IT 和风险流程的集成。访问应该是经过深思熟虑的并持续验证，活动必须保持可观察。进行这种转变的组织并不是在限制创新；他们正在为可持续扩展创造条件。在 AI 时代，运营成熟度最终将实验与持久优势区分开来。

呼吁将叙述从炒作转向准备就绪

AI 代理不再是理论上的威胁，很明显，更广泛的行业对话需要演变。我们花费大量时间讨论模型性能和新用例。我们需要花同样多的时间来处理我们要引入环境中的自主行为者的身份、数据治理、访问控制和生命周期管理。

如果没有 IT 其他领域长期标准的护栏，这些代理可能代表一支在复杂系统内部运作的不受管理的数字行为者组成的安静大军。解决这种风险需要领导层的关注、跨职能协作以及致力于为 AI 时代构建工业级治理。认真对待这一点的组织不仅会减少其风险敞口。他们还将建立有信心扩展 AI 所需的信任和韧性，促进业务和 IT 之间更强的协作。在智能系统成为劳动力一部分的世界中，运营安全不再仅仅是一个技术问题，而是一项战略当务之急。 AI 的扩展程度仅限于信任允许的程度。治理使这种信任成为可能。

本文反映的观点是作者的观点，不一定反映全球 EY 组织或其成员公司的观点，也不一定反映 的观点和信念 。