PRACTICE / ARTIFICIAL INTELLIGENCE

AI 评估、治理与规模运营。

把上线判断变成可复核的证据,把风险责任嵌入日常运营。

所属方法论:支策可信 AI 价值实现方法
THE REAL CHALLENGE

先把问题界定清楚。

模型测试得分、用户觉得好用与业务允许上线,是三个不同的判断。一个系统可能回答准确,却在资料过时、权限异常或工具调用失败时失去可靠性;也可能节省起草时间,却增加复核负担。支策建立贯穿设计、验证、运行和变更的评估机制,将治理嵌入产品责任。每项应用需要说明预期用途、禁止用途、可接受的错误和人工接管方式。评估既检查结果,也检查达成结果的过程,并把实际运行中的失败样本带回下一轮改进。

BEYOND THE SYMPTOMS

从现象进入
经营逻辑。

评估首先是一项业务定义工作。业务人员需要说明什么结果可接受、什么错误不能容忍,以及哪些情形必须由专业人员接管;技术团队据此组织样本和检查方式。支策把确定性规则、专业判断和用户反馈组合使用,并记录评价分歧。模型评分适合帮助处理部分评价任务,但仍需与人工标准校准。评估报告的重点不是汇总一个总分,而是说明应用在哪些条件下成立、在哪里失效,以及失效对上线决定有何影响。

运营治理需要让变化和责任保持可见。知识更新、提示调整、工具替换和模型升级都可能影响任务表现,因此支策将重要变更与相应回归检查连接起来,并保留批准和处置记录。真实使用中的失败、人工修改和接管情况进入下一轮评估,成本与使用效果进入产品复盘。团队应能够依据证据决定恢复、限用、扩围或退出,而不是依赖供应商能力说明,或把长期无投诉当成风险已经消失。

A TOOL FOR THE WORKING SESSION

把诊断落到可核查的事项。

DECISION TOOL

AI 运营诊断:让评估结论能够约束真实运行

左右滑动,查看完整表格

治理环节需要关注的偏差应核对的证据责任与改进安排
任务与评价标准以通用模型指标代替业务结果,重要错误被平均分掩盖,样本缺乏代表性。真实任务分层、业务标准、边界与失败样本,以及专家评价分歧记录。由业务定义可接受结果,设置重要失败的单独检查,并持续维护样本。
上线与残余风险测试完成即被视为允许上线,未解决问题没有责任人或明确限制条件。验证报告、未解决事项、批准记录、用途范围与人工接管安排。明确上线决策主体,对残余问题作出整改、限用或暂缓的具体决定。
版本变化与回归知识或模型更新只检查新增能力,原本稳定的任务和权限边界没有复核。变更影响分析、任务回归记录、异常行为与批准后实际运行情况。按影响范围安排质量、权限及成本检查,保留降级、暂停和恢复路径。
运行反馈与价值复盘只看使用量和满意度,真实失败不能追溯,成本变化未进入投资决定。任务失败、人工修改、接管、问题关闭及完整运行成本记录。按问题归属落实责任,将修复带回评估,并定期调整任务范围与资源。
评估通过意味着在已验证条件下达到约定要求,不意味着对所有未来任务可靠。使用范围变化时,应重新检视证据和责任安排。

项目开始前的四个确认

01评价样本是否覆盖真正会影响上线判断的失败,重要错误是否被单独检查而非平均分抵消?

02模型评分与专业人员判断存在分歧时,谁来解释原因并决定采用哪一种评价结论?

03知识、提示、工具或模型更新后,哪些任务必须回归,谁能够决定降级、暂停或恢复使用?

04一次真实事件能否追溯到任务、版本和关键动作,修复之后如何证明问题已得到处理且未引入退化?

HOW WE WORK

从诊断走向实施。

三个层次共同构成完整工作路径。点击查看具体做法。

01

按业务后果划分应用

区分内部辅助、对外输出、经营决策支持与生产相关用途,识别信息泄露、错误建议、越权动作和业务中断等风险。

02

检查现有评价证据

核对样本是否代表实际任务,是否覆盖不同岗位与异常情境,评分标准是否由业务专家确认,是否存在只展示成功样例的偏差。

03

审视责任与供应链

明确模型、应用、知识、运行和业务审批各环节的负责人,检查外部服务变化、供应商退出及数据处理安排对连续性的影响。

TANGIBLE OUTPUTS

交付物应当进入
实际工作。

项目启动时共同确认深度、数据条件与验收标准。交付范围以双方确认的任务为准。

01

AI 应用清单、用途与责任记录

02

评估集、评分标准和验证报告

03

上线、变更与事件处置机制

04

价值、质量与成本运营看板

ILLUSTRATIVE SCENARIO

经营分析助手的扩围评审

示意情境

假设经营分析助手准备从少量试用人员推广至更多业务部门。以下为评估与治理过程示意,不代表已验证收益。

  1. 01

    从实际分析任务建立评价样本,区分事实提取、指标解释和建议形成。

  2. 02

    联合业务专家检查引用、计算、解释与权限边界,记录人工修订成本。

  3. 03

    以受控范围观察使用与异常处理,并验证暂停、降级和回退是否可执行。

  4. 04

    由业务与治理责任人依据证据决定扩围、限用或继续整改。

BOARDROOM QUESTIONS

把讨论落在这些选择上。

01哪些失败会改变上线判断,是否已经被纳入评估?

02一个模型版本表现改善时,其他关键任务是否发生退化?

03当应用不能可靠工作时,谁能暂停它,业务如何继续?

RESEARCH FOUNDATIONS

研究如何进入
咨询实践。

以管理研究与技术进展为依据,将其转化为能源企业的工作方法。以下框架为支策结合行业问题的归纳。

NISTAI Risk Management Framework (AI RMF 1.0) · 2023-01-26

应用于支策方法将可信性与风险管理贯穿 AI 的设计、开发、使用和评价,明确用途、责任及持续监测。

适用边界自愿性风险管理框架,不是中国项目的法律合规证明。2026 年关键基础设施 Profile 页面所列为概念说明,不当作正式发布标准。

阅读原始研究
NISTArtificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile · 2024-07-26

应用于支策方法识别生成式 AI 特有风险,将知识可信、信息安全、人工复核和运行反馈纳入应用设计。

适用边界跨行业风险指南;具体控制措施需要结合任务、数据、人员与系统环境选择,不能机械套用。

阅读原始研究
Anthropic EngineeringBuilding effective agents · 2024-12-19

应用于支策方法区分预定义工作流与模型动态决定步骤的智能体,依据任务需要控制架构复杂度。

适用边界工程经验文章,非行业标准;官网提示部分工具信息已变化,本文只采用架构选择原则。

阅读原始研究
Anthropic EngineeringDemystifying evals for AI agents · 2026-01-09

应用于支策方法评估同时覆盖任务结果、行动记录与多次运行表现,组合自动检查、模型评价与人工判断。

适用边界通用智能体工程经验,不能替代能源行业的现场验证、安全论证或专业人员判断。

阅读原始研究
Erik Brynjolfsson / Danielle Li / Lindsey Raymond · The Quarterly Journal of EconomicsGenerative AI at Work · 2025-02-04

应用于支策方法借鉴工作场景中的经验异质性与学习效应视角,分岗位、熟练程度和任务难度验证 AI 使用效果。

适用边界引用 QJE 2025 年正式论文。研究对象为一家企业的客户支持岗位,不把其平均生产率变化外推为能源企业收益。

阅读原始研究
OUR PRACTICE

从关键议题深入。

每个专题都展开诊断方法、方案设计、实施安排与交付要求。