02 · 模型選型與成本算力

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(OpenAI 牌價結構:cached input 0.1x、cache write 1.25x/2.5x、Batch 0.5x、>272K 長 context 2x;開源 embedding 維度與授權)

一、開源 vs 閉源:不要只看能力

維度 閉源 API 自架開源
前段能力 通常領先 6–12 個月 落後,但快追上
單位成本 按量計價,可預測 前期資本+維運人力
低使用率成本 極低 很差(折舊攤不回來)
高使用率成本 線性成長 攤提後大幅下降
資料落地 需合約/區域端點 完全自控
維運負擔 幾乎為零 GPU、驅動、升級、on-call
鎖定風險 高(prompt/tool 格式綁定) 低

實務結論:能够用「一個抽象層+可換模型」寫的應用,就先這樣寫。把 model id、temperature、tool schema 收斂到一處設定,換模型是改一行而不是重寫。

二、Token 經濟學:四個乘數決定帳單

2026-11 的主流牌價結構(比率比絕對價格穩定,絕對值請查當日官網):

項目 相對倍率 說明
Input(未命中快取) 1.0x 基準
Cached input(讀) 0.1x(部分模型 0.05x) 前綴完全相同才命中
Cache write(30 分) 1.25x 寫一次、讀一次即回本
Cache write(12 小時) 2.5x 低頻但長期重複的參考資料
Batch API 0.5x 24 小時內完成,可與快取疊加
長 context(>272K) input 2x、output 1.5x 非線性懲罰

三個推論: 1. 快取要「前綴對齊」。system prompt、工具定義、檢索文件必須放前面且逐字固定;中間插一個時間戳就會全部 miss。 2. 輸出通常貴 5 倍(input : output 常見 1:5)。要求模型「長篇解釋」比「給 JSON」貴得多。 3. Batch 與快取可疊加:離線分類、回填、 nightly 報告用 Batch+快取,可壓到牌價的一成以下。

三、四種手段的正確順序(先便宜後貴)

  1. Prompt engineering:一天內可做,改指令、給 2–3 個範例、要求結構化輸出。先做這個。
  2. RAG:模型不知道的私有知識。成本是索引與檢索,不動權重,可即時更新。
  3. Fine-tune:當「格式/語氣/分類邊界」不穩定,且你已有數百至數千筆乾淨樣本。它教「怎麼回答」,不教「新事實」。
  4. 換模型:前四項都做完仍不夠,才升級模型或換供應商。

常見錯誤是倒著做:一開始就 fine-tune,結果資料沒清乾淨,模型學會了錯誤答案的語氣。

四、長 context 的迷思

  • 「lost in the middle」:關鍵資訊放在超長 context 的中段,召回明顯低於開頭與結尾。這是架構與訓練分佈的問題,不是 prompt 寫不好。
  • 塞滿 200K 的代價:input 進入長 context 倍率,且 TTFT 變長;每次呼叫都重算(除非命中快取)。
  • 有效 recall ≠ 名目 window。多數任務在 8K–32K 內、把資料整理好,效果勝過硬塞 200K。
  • 需要「全部掃過」的任務(比對法規全文、跨文件統計)才真的該用長 context,而且要要求模型引用段落編號。

五、小模型+好檢索 vs 大模型+爛檢索

實務反覆驗證的結論:檢索品質的邊際報酬遠高於模型規模。喂錯資料時,大模型只會把錯誤講得更流暢、更難被發現。經驗法則:

  • 檢索 recall 低於 0.7 時,先修 chunking 與 hybrid search,別急著換模型。
  • 小模型(8B–30B 級)+rerank+嚴格「不確定就說不知道」的指令,在封閉域 QA 常勝過 frontier 模型+naive top-k=3。
  • 大模型的價值在開放域推理、多步工具使用、長尾語言與格式;不在「記住你的內部文件」。

六、成本估算工作流

  1. 估每月請求數,不是 token 數(先有請求才推 token)。
  2. 每請求平均 input/output token(用實際日誌抽樣,別用感覺)。
  3. 乘上 agent 放大係數:單輪 chat 約 1.2–2x;工具型 agent 常 3–8x(每步都重送歷史);長任務可到 10x 以上。
  4. 乘上 retry 係數:JSON 解析失敗、驗證失敗、429 重試,實務 1.15–1.5x。
  5. 套牌價(含快取命中率假設,通常樂觀值 0.5–0.7)。
  6. 加 20% buffer,並設每日/每使用者硬上限。

沒有第 3、4 項的估算,通常低估 3–5 倍。

實務檢查清單

  • [ ] 模型 id 與 pricing 集中在一個 config,不散落在程式各處
  • [ ] 記錄每次呼叫的 input/output/cached token,能事後歸因
  • [ ] system prompt 與工具定義放在最前且逐字固定(吃快取)
  • [ ] 離線工作一律走 Batch,不要用互動價格跑回填
  • [ ] 對「輸出長度」設上限,避免模型自言自語把帳單放大
  • [ ] 建 golden set,換模型/改 prompt 前後都跑一次
  • [ ] 設定成本告警與 hard cap,避免迴圈爆帳

常見誤解

  • 「context 越長越強」:長 context 的召回會衰减,成本卻是倍率跳升。
  • 「fine-tune 可以注入知識」:知識會過期,且難以更新;RAG 才是知識層。
  • 「大模型就不需要檢索」:錯資料餵給大模型,只會得到更有說服力的錯答案。
  • 「快取是自動的,不用設計」:前綴不固定等於沒有快取。
  • 「單價低就便宜」:真正的成本是 token 量 × 輪數 × 重試率。

← 回首頁