02 · 模型選型與成本算力
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(OpenAI 牌價結構:cached input 0.1x、cache write 1.25x/2.5x、Batch 0.5x、>272K 長 context 2x;開源 embedding 維度與授權)
一、開源 vs 閉源:不要只看能力
| 維度 | 閉源 API | 自架開源 |
|---|---|---|
| 前段能力 | 通常領先 6–12 個月 | 落後,但快追上 |
| 單位成本 | 按量計價,可預測 | 前期資本+維運人力 |
| 低使用率成本 | 極低 | 很差(折舊攤不回來) |
| 高使用率成本 | 線性成長 | 攤提後大幅下降 |
| 資料落地 | 需合約/區域端點 | 完全自控 |
| 維運負擔 | 幾乎為零 | GPU、驅動、升級、on-call |
| 鎖定風險 | 高(prompt/tool 格式綁定) | 低 |
實務結論:能够用「一個抽象層+可換模型」寫的應用,就先這樣寫。把 model id、temperature、tool schema 收斂到一處設定,換模型是改一行而不是重寫。
二、Token 經濟學:四個乘數決定帳單
2026-11 的主流牌價結構(比率比絕對價格穩定,絕對值請查當日官網):
| 項目 | 相對倍率 | 說明 |
|---|---|---|
| Input(未命中快取) | 1.0x | 基準 |
| Cached input(讀) | 0.1x(部分模型 0.05x) | 前綴完全相同才命中 |
| Cache write(30 分) | 1.25x | 寫一次、讀一次即回本 |
| Cache write(12 小時) | 2.5x | 低頻但長期重複的參考資料 |
| Batch API | 0.5x | 24 小時內完成,可與快取疊加 |
| 長 context(>272K) | input 2x、output 1.5x | 非線性懲罰 |
三個推論: 1. 快取要「前綴對齊」。system prompt、工具定義、檢索文件必須放前面且逐字固定;中間插一個時間戳就會全部 miss。 2. 輸出通常貴 5 倍(input : output 常見 1:5)。要求模型「長篇解釋」比「給 JSON」貴得多。 3. Batch 與快取可疊加:離線分類、回填、 nightly 報告用 Batch+快取,可壓到牌價的一成以下。
三、四種手段的正確順序(先便宜後貴)
- Prompt engineering:一天內可做,改指令、給 2–3 個範例、要求結構化輸出。先做這個。
- RAG:模型不知道的私有知識。成本是索引與檢索,不動權重,可即時更新。
- Fine-tune:當「格式/語氣/分類邊界」不穩定,且你已有數百至數千筆乾淨樣本。它教「怎麼回答」,不教「新事實」。
- 換模型:前四項都做完仍不夠,才升級模型或換供應商。
常見錯誤是倒著做:一開始就 fine-tune,結果資料沒清乾淨,模型學會了錯誤答案的語氣。
四、長 context 的迷思
- 「lost in the middle」:關鍵資訊放在超長 context 的中段,召回明顯低於開頭與結尾。這是架構與訓練分佈的問題,不是 prompt 寫不好。
- 塞滿 200K 的代價:input 進入長 context 倍率,且 TTFT 變長;每次呼叫都重算(除非命中快取)。
- 有效 recall ≠ 名目 window。多數任務在 8K–32K 內、把資料整理好,效果勝過硬塞 200K。
- 需要「全部掃過」的任務(比對法規全文、跨文件統計)才真的該用長 context,而且要要求模型引用段落編號。
五、小模型+好檢索 vs 大模型+爛檢索
實務反覆驗證的結論:檢索品質的邊際報酬遠高於模型規模。喂錯資料時,大模型只會把錯誤講得更流暢、更難被發現。經驗法則:
- 檢索 recall 低於 0.7 時,先修 chunking 與 hybrid search,別急著換模型。
- 小模型(8B–30B 級)+rerank+嚴格「不確定就說不知道」的指令,在封閉域 QA 常勝過 frontier 模型+naive top-k=3。
- 大模型的價值在開放域推理、多步工具使用、長尾語言與格式;不在「記住你的內部文件」。
六、成本估算工作流
- 估每月請求數,不是 token 數(先有請求才推 token)。
- 每請求平均 input/output token(用實際日誌抽樣,別用感覺)。
- 乘上 agent 放大係數:單輪 chat 約 1.2–2x;工具型 agent 常 3–8x(每步都重送歷史);長任務可到 10x 以上。
- 乘上 retry 係數:JSON 解析失敗、驗證失敗、429 重試,實務 1.15–1.5x。
- 套牌價(含快取命中率假設,通常樂觀值 0.5–0.7)。
- 加 20% buffer,並設每日/每使用者硬上限。
沒有第 3、4 項的估算,通常低估 3–5 倍。
實務檢查清單
- [ ] 模型 id 與 pricing 集中在一個 config,不散落在程式各處
- [ ] 記錄每次呼叫的 input/output/cached token,能事後歸因
- [ ] system prompt 與工具定義放在最前且逐字固定(吃快取)
- [ ] 離線工作一律走 Batch,不要用互動價格跑回填
- [ ] 對「輸出長度」設上限,避免模型自言自語把帳單放大
- [ ] 建 golden set,換模型/改 prompt 前後都跑一次
- [ ] 設定成本告警與 hard cap,避免迴圈爆帳
常見誤解
- 「context 越長越強」:長 context 的召回會衰减,成本卻是倍率跳升。
- 「fine-tune 可以注入知識」:知識會過期,且難以更新;RAG 才是知識層。
- 「大模型就不需要檢索」:錯資料餵給大模型,只會得到更有說服力的錯答案。
- 「快取是自動的,不用設計」:前綴不固定等於沒有快取。
- 「單價低就便宜」:真正的成本是 token 量 × 輪數 × 重試率。