07 · 評估與可觀測性

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(查證 OTel GenAI semconv 已於 2026-06 移出主庫且仍全為 Development、Langfuse/LangSmith 現行計價與自架條件)

一、為什麼「感覺變好了」不算

人眼對 LLM 輸出有強烈確認偏誤:換個 prompt 後看到的 3 個例子都變好,就宣布改善。問題是回歸通常發生在你沒看的那 200 題上。

要求 具體做法
golden set 50–300 題,題目固定、答案經人確認
版本化 每次改動跑同一份 set,結果存檔可 diff
分層報告 不只總分,要按意圖/難度/語言分組

先花兩天建一份 golden set,比再調一週 prompt 更有價值。

二、LLM 評測方法

方法 適用 成本 風險
規則比對(正規式、schema、單元測試) 格式、抽取、代碼 極低 只能測表層
Embedding 相似度 語意貼近、改寫 低 高分≠正確
LLM-as-a-judge 開放式回答、語氣 中 偏誤需校正
人工標註 最終仲裁、建立標尺 高 慢、標註不一致
judge 偏誤 現象 對策
位置偏誤 偏好第一個候選 隨機交換順序各跑一次
長度偏誤 偏愛長回答 評分準則排除長度,或分層
自我偏好 偏好同家族輸出 換家族當 judge,或用 rubric
寬鬆偏誤 幾乎都給 4–5 分 用 pairwise 取代絕對分

實務結論:judge 只用於相對比較與粗篩,關鍵決策要人看。 與人一致率先抽 50 題量過,低於約 0.7 就不要信。

三、評測集的建法

  1. 從真實流量抽樣:取 2–4 週生產查詢,按意圖分層,權重貼近真實分佈。
  2. 補邊界案例:空輸入、超長、多語言、對抗性提問、應拒答題。
  3. 去識別化:PII 遮蔽後才進 eval set。
  4. 版本化並凍結:eval/v1.2.jsonl,改題目開新版本。
  5. 保留 holdout:小部分題目不對外公開。

四、線上可觀測性

工具 型態 關鍵取捨
Langfuse MIT 核心,2026-01 併入 ClickHouse 可自架(需 Postgres/ClickHouse/Redis/S3);Core 約 $29/月起,按事件計費
LangSmith 閉源,LangChain 生態 與 LangGraph 整合深;自架僅 Enterprise;按 seat+trace 計費
OpenTelemetry 開放標準 不綁廠商,可同時送多家

2026-11 查證:OTel gen_ai.* 規範已於 2026-06-12 從主庫 deprecate 並移到獨立 repo,目前全為 Development、無穩定版。屬性名仍會變,儀表板請建在指標(duration、token usage、TTFT)上。

一條 trace 至少要含:請求 id、模型與版本、prompt 版本、檢索文件 id、token 數、延遲、錯誤類型。

五、監控指標

指標 定義 健康參考
TTFT 首 token 時間 互動式 < 1s(p95)
TPOT 每輸出 token 時間 約 20–40ms 屬正常
p50 / p95 延遲 全鏈路 p95 常是 p50 的 2–4 倍
錯誤率 5xx + 逾時 + 解析失敗 < 1%
cache hit rate 命中/總請求 精確快取看重複度;語意快取常見 20–45%

只看平均延遲會錯過所有問題:使用者抱怨幾乎都來自 p95 之後的尾巴。

六、漂移與品質退化偵測

訊號 怎麼看 觸發動作
輸入分佈 查詢長度、語言、意圖佔比 明顯偏移 → 查上游或行銷活動
拒答率 「無法回答」的比例 突升 → 檢索壞了或 prompt 被改
解析失敗率 JSON/schema 驗證失敗 突升 → 供應商改了模型版本
使用者回饋 thumbs down、重問率 週環比惡化 > 20% 即告警
檢索品質 文件與答案的關聯 抽樣人工複核

原則:先把「壞掉的樣子」定義成指標。重問率(同一人 5 分鐘內改問類似問題)是被低估的免費訊號。

七、A/B 測試 LLM 功能實務

項目 做法
主指標 任務完成率或留存,不要用「平均對話長度」
護欄指標 延遲 p95、成本/請求、錯誤率、安全事件
分流 按使用者 id 雜湊,確保體驗一致
樣本量 每組約 16 × p(1−p) / δ²;p=0.5、δ=2% 約需 1 萬/組
期間 至少一週,涵蓋工作日與週末

LLM 功能的效果量通常只有 1–3%,樣本不足時的「顯著」多半是噪音;流量不夠就改用 offline eval + 小流量 shadow。

八、成本監控

層級 指標 用途
per-request 輸入/輸出 token、快取命中、實際單價 找出最貴的 prompt
per-tenant 月累計成本、P95 單人成本 定價與配額依據
全域 每日花費、較昨日增幅 異常放大偵測

異常偵測:單日成本超過 30 日移動平均 2 倍即告警,並查重試、prompt 洩漏、token 暴增。

實務檢查清單

  • [ ] 有版本化的 golden set,每次改動都跑
  • [ ] judge 與人一致率已量測,並記錄偏誤校正
  • [ ] trace 有 request id,可從回報追到單筆
  • [ ] 儀表板建在指標上,不依賴 experimental 的 span 屬性名
  • [ ] 有 p50/p95 分佈圖,不只看平均
  • [ ] 拒答率、解析失敗率、重問率都有告警
  • [ ] 每次模型或 prompt 變更都走 A/B 或 shadow

常見誤解

誤解 事實
「LLM-judge 分數就是品質」 它是有偏誤的代理指標,需與人工對齊
「平均延遲達標就沒問題」 體驗由 p95 決定,平均值會掩蓋長尾
「OTel GenAI 已是穩定標準」 2026-11 仍全部是 Development
「自架可觀測性一定比較省」 省授權費,貴的是 4–5 個有狀態服務的維運

← 回首頁