Agent 评测与可观测性要如何设计？

背后工程点：Agent 的质量在行动轨迹里，不只在最终文本。
专业术语：
Trajectory：轨迹。
Goal Completion：目标完成。
Verification：验证。
Safety Regression：安全回归。
为什么这样回答：先区分评测对象，后面指标才成立。
小白解析：考试答案对了，但如果是作弊、闯红灯送来的，也不能算合格。
关联知识点：OpenAI tracing 收集 LLM generation、tool calls、handoffs、guardrails；learn-agent trace analysis 从多边界归因。

背后工程点：Trace 要覆盖决策链和副作用链。
专业术语：
Span：可观测操作片段。
Context Projection：上下文投影。
Usage：用量。
Handoff：移交。
为什么这样回答：具体 span 列表体现实践经验。
小白解析：只看司机最后说“到了”，不知道中间有没有绕路、超速、撞车。
关联知识点：OpenAI Agents SDK 默认 tracing 包含 agent_span、generation_span、function_span、guardrail_span、handoff_span。

背后工程点：失败分类必须可操作、可证据化。
专业术语：
Failure Taxonomy：失败分类。
Evidence Rule：证据规则。
Context Missing Fact：上下文缺失事实。
Verification Failure：验证失败。
为什么这样回答：避免分类变成贴标签。
小白解析：维修单要写是电路坏、水管坏还是使用方式错，这样才知道找谁修。
关联知识点：learn-agent trace analysis 明确用 trace 把失败归因到具体责任边界。

背后工程点：Judge 是软评审，不是万能裁判。
专业术语：
Rubric：评分标准。
Calibration：校准。
Deterministic Check：确定性检查。
Soft Signal：软信号。
为什么这样回答：这回答了 eval 可信度。
小白解析：作文可以请老师评分，算术题最好直接验算。
关联知识点：OpenAI agent evals 可用于一致性检查，但工程系统通常要混合规则、人工和模型评审。

背后工程点：Eval 数据要治理，不是日志搬运。
专业术语：
Golden Task：黄金任务。
Holdout：保留集。
Risk Tag：风险标签。
Data Sanitization：数据脱敏。
为什么这样回答：数据治理是评测可信度核心。
小白解析：错题能进题库，但要去掉学生隐私，写清标准答案，不能让大家提前背完全部题。
关联知识点：learn-agent LLM 数据工程也强调 eval set 独立、追踪和版本固定。

背后工程点：Context eval 要看任务连续性，不只看摘要好不好读。
专业术语：
Constraint Retention：约束保留。
Tool Re-read Rate：工具重读率。
Compression Gain：压缩收益。
Contradiction Rate：矛盾率。
为什么这样回答：和 Context 章节形成闭环。
小白解析：会议纪要好不好，不是文笔美，而是下次开会能不能接着干。
关联知识点：Guga default context policy 有 compact boundary 和 projection decision；learn-agent context 章节强调事实留账本。

背后工程点：工具说明和 schema 都要进入回归评测。
专业术语：
Tool-selection Eval：工具选择评测。
Schema Error：参数错误。
Observation Correctness：观察正确性。
Artifact Reference：产物引用。
为什么这样回答：工具是 Agent 成败核心，不能只测模型。
小白解析：改了工具说明书，要看新人拿错工具的次数有没有下降。
关联知识点：Anthropic 工具设计文章建议用 eval 检查 agent 是否理解工具用途。

背后工程点：安全 eval 要按攻击面覆盖。
专业术语：
Indirect Injection：间接注入。
Tool Poisoning：工具投毒。
Exfiltration：数据外传。
Safe Completion：安全完成。
为什么这样回答：安全不是一个 prompt injection 样例就够。
小白解析：防盗测试不能只试一把锁，还要试窗户、后门、快递入口和监控盲区。
关联知识点：OWASP LLM/MCP Top 10 提供风险分类；Guga security 章节把这些转成 runtime 测试。

背后工程点：观测要按受众投影。
专业术语：
Business Metric：业务指标。
Diagnostic Metric：诊断指标。
SLA：服务等级。
Projection：投影。
为什么这样回答：这能体现产品化意识。
小白解析：驾驶员看仪表盘，维修师傅看故障码，管理者看准点率和油耗。
关联知识点：Guga strategy 同时定义任务完成率、可恢复率、工具审计覆盖率和交付时间。

背后工程点：Trace 成本通过引用、采样和脱敏控制。
专业术语：
Sampling：采样。
Payload：负载内容。
Hash：哈希。
Retention：保留策略。
为什么这样回答：回应成本和隐私质疑。
小白解析：监控不一定录下所有高清视频，关键路口和事故片段要保留。
关联知识点：OpenAI tracing 有 sensitive data 控制；Guga artifact/event 分离减少 prompt 和 trace 膨胀。

背后工程点：Eval 要成为发布门禁，而不是事后报告。
专业术语：
Release Gate：发布门禁。
Baseline：基线。
Smoke Eval：冒烟评测。
Threshold：阈值。
为什么这样回答：这让评测变成工程流程。
小白解析：改车灯跑短测，换刹车跑全套安全测试。
关联知识点：Guga runtime 边界回归率适合作为 CI/发布指标。

背后工程点：离线评测控制回归，线上观测验证真实价值。
专业术语：
Offline Eval：离线固定样本评测。
Online Metrics：线上真实使用指标。
Shadow：影子运行，不影响用户结果。
Canary：小流量灰度。
为什么这样回答：面试官常追问 eval 是否脱离生产，这里把发布前和发布后闭环讲清楚。
小白解析：模拟考成绩变好，不代表真实工作一定顺利；要看上班后的实际表现，再把真实错题补进题库。
关联知识点：OpenAI practical guide 强调 agent 要在真实工作流里迭代；Guga strategy 也把真实任务完成率和接管率作为关键指标。

背后工程点：Trace 是跨边界诊断协议，必须版本化和可关联。
专业术语：
Trace ID：一次任务的全局轨迹标识。
Span ID：单个操作片段标识。
Correlation ID：跨服务关联请求的标识。
Upcaster：把旧版本事件升级成新读取模型的适配层。
为什么这样回答：这能证明你不是只会打印日志，而是在设计长期可演进的观测数据模型。
小白解析：包裹经过仓库、运输和派送，每一站都要扫同一个运单号，否则丢了以后查不到卡在哪。
关联知识点：OpenTelemetry 用 trace/span 组织跨系统观测，GenAI semantic conventions 正在收敛模型调用相关字段；生产落地仍要保留 schema version 和 upcaster。

背后工程点：回放历史和重新执行是两种不同评测模式。
专业术语：
Diagnostic Replay：诊断回放，只复现决策上下文。
Live Eval：真实执行评测。
Side Effect：工具调用造成的外部状态改变。
Idempotency Key：幂等键，避免重复执行产生重复副作用。
为什么这样回答：Agent 有工具副作用，评测不能像纯文本模型一样随便重跑。
小白解析：复盘转账错误时，可以看历史流水；不能为了复盘再真的转一次钱。
关联知识点：LangGraph durable execution 和 Guga event log 都强调从事件恢复状态，但副作用必须被边界化处理。

背后工程点：恢复 eval 要主动制造故障，测试 runtime 的韧性。
专业术语：
Fault Injection：故障注入。
Rate Limit：限流。
Graceful Degradation：优雅降级。
Duplicate Side Effect：重复副作用。
为什么这样回答：资深面试官会看你是否只测 happy path，这里主动覆盖可靠性压力。
小白解析：车不仅要在晴天直路能开，还要在堵车、爆胎、导航失灵时不会把人带进更糟的状态。
关联知识点：LangGraph time travel/persistence 和 Guga recovery 章节都把中断恢复、回放和幂等作为生产能力。

背后工程点：成本评测要按成功任务计价，而不是只按单次 token 便宜。
专业术语：
Cost per Successful Task：每个成功任务成本。
p99 Latency：99 分位延迟。
Retry Rate：重试率。
Escalation：升级到更强模型或人工。
为什么这样回答：把模型路由、质量、成本和产品体验连起来，比单独报 token 成本更成熟。
小白解析：便宜工人如果经常返工，最后可能比贵但一次做对的人更贵。
关联知识点：OpenAI practical guide 提到 agent 要在能力、延迟和成本之间权衡；Guga strategy 也把交付时间和成本纳入指标。

背后工程点：Agent eval 也会过拟合，需要数据集分层和样本治理。
专业术语：
Overfitting：过拟合，只适应已知题目。
Holdout Set：隐藏保留集。
Dataset Versioning：数据集版本管理。
Failure Migration：失败从一类迁移到另一类。
为什么这样回答：回应评测可信度，避免把 eval 当成静态排行榜。
小白解析：学生把模拟题答案背熟了，不代表真会；要换题型、留暗题、看真实表现。
关联知识点：learn-agent 数据工程口径强调 eval set 独立和版本固定；线上失败回流能持续更新覆盖面。

背后工程点：人评要制度化，用 rubric 和校准降低主观漂移。
专业术语：
Human Evaluation：人工评测。
Rubric：评分规则。
Inter-annotator Agreement：标注员一致性。
Adjudication：分歧裁决。
为什么这样回答：LLM judge 和确定性规则都有盲区，资深回答要说明人工评审如何可信地参与。
小白解析：作文比赛要有评分细则，评委意见不一致时要复议，也要更新评分标准。
关联知识点：OpenAI agent evals 支持围绕任务结果做评测，工程上通常还会结合人工 spot check 校准模型评审。

背后工程点：观测系统本身也是数据系统，要有隐私、权限和删除链路。
专业术语：
Data Minimization：数据最小化采集。
Break-glass：紧急临时访问机制。
Audit Log：访问审计日志。
Retention Policy：数据保留策略。
为什么这样回答：Trace 很容易变成敏感数据集中地，必须把安全治理讲进设计。
小白解析：医院病历能帮助诊断，但不是所有员工都能随便看；看了也要有记录，到期还要清理。
关联知识点：OpenAI tracing 提供敏感数据控制思路；Guga artifact/event 分离也能减少 trace 中直接暴露原始 payload。

背后工程点：Eval MVP 先小而固定，能防回归。
专业术语：
Golden Set：黄金集。
Red-team Set：红队集。
Failure Case：失败案例。
Report：报告。
为什么这样回答：给出落地第一步。
小白解析：新老师先准备一套核心题，每次改教材都考一遍。
关联知识点：learn-agent trace 章节和 Guga strategy 都强调用失败样本推动 runtime 迭代。