专业知识需要情境才能成立
一条检修建议可能依赖设备型号、运行状态和规程版本。模型能够找到相关文字,不等于已经具备作出适用判断所需的全部条件。
电脑操作基准上的进步,提醒我们AI能力具有任务边界,不能由一个总体分数推断企业内的可靠表现。支策认为,能源知识助手应优先解决“依据是否适用”的问题,再谈回答是否流畅与覆盖是否广泛。
报告所列智能体在 OSWorld 电脑操作基准的任务成功率2
2026 · OSWorld 基准任务完成能力明显进步,也仍然存在失败。支策的判断是,企业不应只问智能体有多聪明,更应判断它可以独立处理多长的任务链、触发什么后果,以及失败后谁能接管。在能源业务中,授权范围、知识依据和恢复机制,会与模型能力共同决定可使用的边界。
沿着任务链审视AI价值
一条检修建议可能依赖设备型号、运行状态和规程版本。模型能够找到相关文字,不等于已经具备作出适用判断所需的全部条件。
表达越确定,越可能降低使用者继续核验的意愿。界面应该帮助用户看到关键依据、未确认条件和可追问之处,而非只展示完整结论。
现场人员的纠错揭示了知识的隐含前提。若反馈只用于评价满意度,就会错失把个人经验转化为组织可持续知识的机会。
区分资料查找、方案辅助与高后果判断,为不同任务设置引用深度与复核要求,避免用一个助手名称覆盖所有责任。
让答案能够回到原始段落、版本与适用条件;当信息冲突时解释冲突,而不是用顺畅语言将差异抹平。
围绕常见问题、边界问题和易误用问题持续评估,观察用户能否依据结果完成正确下一步,而不仅是是否喜欢答案。
对低后果的通用检索,过重的复核可能削弱可用性。关键是按业务后果区分要求,而不是为所有回答设置相同门槛。
使用者能否看出这份答案依据什么、在哪些条件下适用,以及哪里仍需判断?
设备手册、检修记录、规程和项目经验分散在多个系统中。通用问答工具容易忽略型号、版本和工况差异,答案流畅却难以直接用于工作。知识助手需要围绕专业任务设计检索、引用和拒答机制。
选择设备资料查询、规程比对等明确任务,整理权威资料和有效版本;将事故处置、作业批准等高影响判断单独约束。
要求关键结论附原文位置、版本和适用条件;当资料冲突、证据不足或问题超出范围时,说明缺口并转交专业人员。
由业务专家构建常见、困难和不可回答问题,核验检索与回答各环节;将反馈用于修正知识和规则,而不是只调整提示词。
专业任务边界与可信知识清单
引用、冲突处理与转人工规则
专家评测集与知识运营机制
知识助手提供辅助信息,不代替现场人员依据有效规程作出的安全决策和作业批准。
比较达到 GPT-3.5 MMLU 表现水平的推理成本;不是企业 AI 总成本或项目费用的下降比例。
Stanford 2025 · 2022.11—2024.10 · GPT-3.5 水平OSWorld 是结构化电脑操作基准;结果不能当作能源生产任务的成功率或上线门槛。
Stanford AI Index 2026 · OSWorld 基准跨地区、跨行业调查的受访者自报状态;不代表能源企业治理成熟度的测量结果。
IBM 2025 · 全球 1,700 位高级数据与分析负责人