07 · 評估與可觀測性
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(查證 OTel GenAI semconv 已於 2026-06 移出主庫且仍全為 Development、Langfuse/LangSmith 現行計價與自架條件)
一、為什麼「感覺變好了」不算
人眼對 LLM 輸出有強烈確認偏誤:換個 prompt 後看到的 3 個例子都變好,就宣布改善。問題是回歸通常發生在你沒看的那 200 題上。
| 要求 | 具體做法 |
|---|---|
| golden set | 50–300 題,題目固定、答案經人確認 |
| 版本化 | 每次改動跑同一份 set,結果存檔可 diff |
| 分層報告 | 不只總分,要按意圖/難度/語言分組 |
先花兩天建一份 golden set,比再調一週 prompt 更有價值。
二、LLM 評測方法
| 方法 | 適用 | 成本 | 風險 |
|---|---|---|---|
| 規則比對(正規式、schema、單元測試) | 格式、抽取、代碼 | 極低 | 只能測表層 |
| Embedding 相似度 | 語意貼近、改寫 | 低 | 高分≠正確 |
| LLM-as-a-judge | 開放式回答、語氣 | 中 | 偏誤需校正 |
| 人工標註 | 最終仲裁、建立標尺 | 高 | 慢、標註不一致 |
| judge 偏誤 | 現象 | 對策 |
|---|---|---|
| 位置偏誤 | 偏好第一個候選 | 隨機交換順序各跑一次 |
| 長度偏誤 | 偏愛長回答 | 評分準則排除長度,或分層 |
| 自我偏好 | 偏好同家族輸出 | 換家族當 judge,或用 rubric |
| 寬鬆偏誤 | 幾乎都給 4–5 分 | 用 pairwise 取代絕對分 |
實務結論:judge 只用於相對比較與粗篩,關鍵決策要人看。 與人一致率先抽 50 題量過,低於約 0.7 就不要信。
三、評測集的建法
- 從真實流量抽樣:取 2–4 週生產查詢,按意圖分層,權重貼近真實分佈。
- 補邊界案例:空輸入、超長、多語言、對抗性提問、應拒答題。
- 去識別化:PII 遮蔽後才進 eval set。
- 版本化並凍結:
eval/v1.2.jsonl,改題目開新版本。 - 保留 holdout:小部分題目不對外公開。
四、線上可觀測性
| 工具 | 型態 | 關鍵取捨 |
|---|---|---|
| Langfuse | MIT 核心,2026-01 併入 ClickHouse | 可自架(需 Postgres/ClickHouse/Redis/S3);Core 約 $29/月起,按事件計費 |
| LangSmith | 閉源,LangChain 生態 | 與 LangGraph 整合深;自架僅 Enterprise;按 seat+trace 計費 |
| OpenTelemetry | 開放標準 | 不綁廠商,可同時送多家 |
2026-11 查證:OTel gen_ai.* 規範已於 2026-06-12 從主庫 deprecate 並移到獨立 repo,目前全為 Development、無穩定版。屬性名仍會變,儀表板請建在指標(duration、token usage、TTFT)上。
一條 trace 至少要含:請求 id、模型與版本、prompt 版本、檢索文件 id、token 數、延遲、錯誤類型。
五、監控指標
| 指標 | 定義 | 健康參考 |
|---|---|---|
| TTFT | 首 token 時間 | 互動式 < 1s(p95) |
| TPOT | 每輸出 token 時間 | 約 20–40ms 屬正常 |
| p50 / p95 延遲 | 全鏈路 | p95 常是 p50 的 2–4 倍 |
| 錯誤率 | 5xx + 逾時 + 解析失敗 | < 1% |
| cache hit rate | 命中/總請求 | 精確快取看重複度;語意快取常見 20–45% |
只看平均延遲會錯過所有問題:使用者抱怨幾乎都來自 p95 之後的尾巴。
六、漂移與品質退化偵測
| 訊號 | 怎麼看 | 觸發動作 |
|---|---|---|
| 輸入分佈 | 查詢長度、語言、意圖佔比 | 明顯偏移 → 查上游或行銷活動 |
| 拒答率 | 「無法回答」的比例 | 突升 → 檢索壞了或 prompt 被改 |
| 解析失敗率 | JSON/schema 驗證失敗 | 突升 → 供應商改了模型版本 |
| 使用者回饋 | thumbs down、重問率 | 週環比惡化 > 20% 即告警 |
| 檢索品質 | 文件與答案的關聯 | 抽樣人工複核 |
原則:先把「壞掉的樣子」定義成指標。重問率(同一人 5 分鐘內改問類似問題)是被低估的免費訊號。
七、A/B 測試 LLM 功能實務
| 項目 | 做法 |
|---|---|
| 主指標 | 任務完成率或留存,不要用「平均對話長度」 |
| 護欄指標 | 延遲 p95、成本/請求、錯誤率、安全事件 |
| 分流 | 按使用者 id 雜湊,確保體驗一致 |
| 樣本量 | 每組約 16 × p(1−p) / δ²;p=0.5、δ=2% 約需 1 萬/組 |
| 期間 | 至少一週,涵蓋工作日與週末 |
LLM 功能的效果量通常只有 1–3%,樣本不足時的「顯著」多半是噪音;流量不夠就改用 offline eval + 小流量 shadow。
八、成本監控
| 層級 | 指標 | 用途 |
|---|---|---|
| per-request | 輸入/輸出 token、快取命中、實際單價 | 找出最貴的 prompt |
| per-tenant | 月累計成本、P95 單人成本 | 定價與配額依據 |
| 全域 | 每日花費、較昨日增幅 | 異常放大偵測 |
異常偵測:單日成本超過 30 日移動平均 2 倍即告警,並查重試、prompt 洩漏、token 暴增。
實務檢查清單
- [ ] 有版本化的 golden set,每次改動都跑
- [ ] judge 與人一致率已量測,並記錄偏誤校正
- [ ] trace 有 request id,可從回報追到單筆
- [ ] 儀表板建在指標上,不依賴 experimental 的 span 屬性名
- [ ] 有 p50/p95 分佈圖,不只看平均
- [ ] 拒答率、解析失敗率、重問率都有告警
- [ ] 每次模型或 prompt 變更都走 A/B 或 shadow
常見誤解
| 誤解 | 事實 |
|---|---|
| 「LLM-judge 分數就是品質」 | 它是有偏誤的代理指標,需與人工對齊 |
| 「平均延遲達標就沒問題」 | 體驗由 p95 決定,平均值會掩蓋長尾 |
| 「OTel GenAI 已是穩定標準」 | 2026-11 仍全部是 Development |
| 「自架可觀測性一定比較省」 | 省授權費,貴的是 4–5 個有狀態服務的維運 |