任务链越长,失败越难归因
一次结果可能经过检索、判断、调用与状态更新。局部步骤正确,不保证整体目标达成;跨系统之后,需要知道问题发生在哪个环节。
OSWorld基准显示任务执行能力显著进步,却不能证明智能体已经可以承担任意业务链。支策认为,真正有竞争力的企业会把委托能力当成一种可逐步扩展的经营机制,而不是一次性授予系统广泛权限。
报告所列智能体在 OSWorld 电脑操作基准的任务成功率2
2026 · OSWorld 基准任务完成能力明显进步,也仍然存在失败。支策的判断是,企业不应只问智能体有多聪明,更应判断它可以独立处理多长的任务链、触发什么后果,以及失败后谁能接管。在能源业务中,授权范围、知识依据和恢复机制,会与模型能力共同决定可使用的边界。
沿着任务链审视AI价值
一次结果可能经过检索、判断、调用与状态更新。局部步骤正确,不保证整体目标达成;跨系统之后,需要知道问题发生在哪个环节。
生成草稿、提交审批、修改工单和下达指令,触发的责任并不相同。把它们放在同一个自动化等级里,会掩盖授权设计的关键差别。
能否停下、回滚、重复执行或转交人工,决定了错误是否会被限制在可接受范围。我们预计,恢复设计会成为智能体产品的重要差异。
围绕业务后果界定工具权限、数据范围和确认节点,使智能体只获得完成当前任务必要的行动能力。
将复核放在不可逆或高后果动作之前,而不是要求人工机械查看全部过程;明确等待、拒绝和升级如何处理。
记录任务达成、失败类型与接管成本,只有当边界内表现足够稳定,才讨论更长任务链或更高权限。
如果业务状态难以回退、后果严重且验证不足,应保留人工决策。通用基准成绩不能替代现场条件下的可靠性证据。
智能体做错的那一步,组织能否及时识别、阻止扩散,并恢复业务状态?
智能体一旦能够调用系统,就可能读取敏感信息、修改记录或触发后续流程。若把应用登录权限直接交给模型,任务意图、业务授权与实际动作之间会产生缺口,错误也可能沿多步骤任务扩散。
对工单整理、资料核对等任务定义允许动作,明确只读、草稿和写入阶段;为不可逆或高影响动作设置业务确认点。
由系统校验身份、权限和参数,限制工具范围、调用次数与预算;加入超时、中止、幂等和异常转人工,保留完整行动回执。
模拟错误资料、越权请求、工具失效与重复执行,观察阻断、恢复和人工接管;通过有限范围运行后再扩大任务边界。
智能体角色、任务与权限矩阵
工具契约、确认点与异常流程
行动审计、故障演练与上线证据
生产控制、资金支付等高影响动作需独立授权和专门验证;默认不因接入智能体而扩大原有权限。
比较达到 GPT-3.5 MMLU 表现水平的推理成本;不是企业 AI 总成本或项目费用的下降比例。
Stanford 2025 · 2022.11—2024.10 · GPT-3.5 水平OSWorld 是结构化电脑操作基准;结果不能当作能源生产任务的成功率或上线门槛。
Stanford AI Index 2026 · OSWorld 基准跨地区、跨行业调查的受访者自报状态;不代表能源企业治理成熟度的测量结果。
IBM 2025 · 全球 1,700 位高级数据与分析负责人