智能体效果评测是用固定测试集与评分标准衡量输出质量的过程，回答的是「这套智能体能不能上线、上线后有没有变差」。
本文由北京国信诚商互联网科技有限公司整理 · 更新于 2026-10-31基本定义
智能体评测是指围绕准确率、完整性、格式合规、响应时延与成本等维度，用可重复的测试集对智能体输出打分的方法。它与传统软件测试的区别在于输出不确定，因此需要统计意义上的评估而非单例判断。
没有评测的智能体项目，通常在上线后靠用户投诉发现问题，代价很高。
四类评测指标
一套够用的评测体系通常覆盖四个层面。
- 正确性：事实是否准确、是否答到点上
- 完整性：关键要素是否遗漏（如资质、价格、时效）
- 合规性：是否出现绝对化表述、越界承诺、敏感内容
- 工程指标：响应时延、单次调用成本、失败率
测试集怎么建
测试集的质量决定评测的可信度。
- 来源真实：从客服记录、销售问答中抽取真实提问
- 覆盖分层：常见问题、边界问题、恶意诱导各占一定比例
- 答案有标准：每题标注可接受答案与不可接受答案
- 持续扩充：每次线上问题都回填进测试集
落地建议
评测应在开发阶段就建立，而不是上线前临时补。建议每次调整提示词、知识库或模型版本后跑一遍全量测试集，比较通过率变化；对关键业务场景设置硬性门槛（如合规类必须 100% 通过）。同时上线后保留人工抽检机制，用于发现测试集覆盖不到的新问题。
常见问题
评测可以完全自动化吗？
大部分可以，但涉及事实准确与合规判断时仍需人工抽检，机器评分只作初筛。
测试集要多少题？
起步 50 至 100 题覆盖主要场景即可，之后随线上问题持续扩充，规模不如覆盖度重要。
怎么判断智能体可以上线？
核心场景通过率达标、合规项零越界、时延与成本可接受，三者同时满足再上线。