01 · 本地 LLM 部署與推理優化

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(vLLM 0.33 / SGLang 0.5.23 / LMDeploy 0.18 的功能邊界、TGI 封存時點、GGUF K-quant 實測 bpw 與困惑度)

一、先分「單人用」與「多人用」

引擎 殺手級功能 適用
llama.cpp GGUF、CPU/Metal、部分卸載 單機、Mac、無獨顯
Ollama llama.cpp 包裝+模型管理 原型、內部小工具
vLLM PagedAttention、continuous batching、APC 前綴快取 生產預設,模型支援最廣
SGLang RadixAttention(token 級基數樹共享前綴) 多輪、RAG、agent 共用長 system prompt
LMDeploy TurboMind C++、INT4 KV cache 量化單卡、Qwen 系列
TensorRT-LLM NVIDIA 原生 kernel 願付編譯成本換峰值

TGI 已於 2025-12 轉維護模式、2026-03 封存,新專案直接跳過。選型關鍵不是「誰最快」,而是「你的流量是否共享前綴」:獨立 prompt 下 vLLM 與 SGLang 在 70B 級差距只有幾個百分點;共享前綴重(多輪、RAG、工具定義很長)時 SGLang 的命中率明顯較高。

二、量化:位元數決定一切

格式 實際 bpw 8B 檔案 困惑度增幅(8B 參考)
Q4_K_M 4.89 4.6 GiB +3% 左右,一般任務無感
Q5_K_M 5.70 5.3 GiB +1% 左右,寫程式/JSON 較穩
Q6_K 6.57 6.1 GiB +0.4%
Q8_0 8.50 8.0 GiB 幾乎無損,但慢、佔記憶體
AWQ / GPTQ 4-bit ~4.25 — 需 GPU;AWQ 在指令跟隨略優於 GPTQ
FP8 8 — H100 級原生支援,品質接近 FP16

結論:預設 Q4_K_M,寫程式或結構化輸出升 Q5_K_M,低於 3 bit 只在「跑得動比跑得好重要」時用。K-quant 的 M 版會把部分 attention/FFN 張量留在 6 bit,這是同檔案大小下品質較好的原因。模型越大,量化容忍度越高:70B Q4 通常比 32B Q5 更值得。

三、KV cache 是記憶體殺手

每 token 的 KV 大小=2 × 層數 × KV head 數 × head_dim × 位元組數。

  • Llama-3-8B(32 層、8 KV head、128):FP16 下約 128 KiB/token,8K context 約 1 GiB。
  • 70B(80 層):約 320 KiB/token,8K 約 2.5 GiB;32K 就吃掉 10 GiB。
  • KV cache 量化成 FP8/INT8 可再砍半,品質損失通常小於權重 4-bit。

vLLM 兩個旋鈕:gpu_memory_utilization(0.85–0.92,留空間給 CUDA graph 與碎片)、max_model_len(别直接設模型上限,會拖慢啟動並浪費 KV 區)。max_num_seqs 換吞吐也換 KV;併發低時別開大。

四、硬體估算(4-bit 權重+8K context)

模型 權重 實務 VRAM 可跑硬體
7–8B ~4.6 GB 6–7 GB RTX 4060 Ti 16G、4070
14B ~9 GB 11–12 GB 4080、4090(游刃有餘)
32B ~20 GB 22–24 GB 4090 24G 勉強,context 別開滿
70B ~40 GB 44–48 GB 2×4090、48G+ Mac unified memory

Mac 的 unified memory 頻寬(M4 Max 約 500 GB/s 級)決定了 decode 速度上限,好處是「大模型塞得下」,壞處是高併發吞吐遠不如資料中心 GPU。

五、吞吐 vs 延遲:兩個不同瓶頸

  • Prefill 是算力瓶頸:長 prompt 一次算完,batch 越大越划算;chunked prefill 可讓長 prompt 不阻塞短請求。
  • Decode 是記憶體頻寬瓶頸:每 token 要把權重掃一遍,所以 tok/s ≈ 頻寬 ÷ 權重位元組。4090(~1 TB/s)跑 8B Q4 的理論上限約 200 tok/s,實測常見 70–120。
  • 投機解碼(draft model、n-gram、EAGLE-3)在低 batch、memory-bound 時可加速約 1.5–3 倍;batch 大、GPU 已吃滿時收益趨近零,甚至變慢。

六、決策樹:本地還是 API

  1. 資料不能出境/有法規或合約限制 → 本地。
  2. 每月 token 量大且穩定(尖峰可預測)→ 本地攤提才划算。
  3. 需求是「偶爾跑、偶爾大模型」→ API,別為了省錢買卡。
  4. 需要最新 frontier 能力、長 context、多模態 → API 通常仍領先。
  5. 延遲要求 <100 ms 且呼叫量高 → 本地+前綴快取,或 edge 小模型。
  6. 只是做 PoC/驗證想法 → 先用 API,別先架 GPU。

混合模式最實際:本地跑高頻、低難度(分類、抽取、改寫),API 只留給難例。

實務檢查清單

  • [ ] 先量測真實 prompt 長度分佈,再決定 max_model_len
  • [ ] 確認 tokenizer 與模型版本一致(換版重算 token 數)
  • [ ] 壓測看 p95 TTFT 與 ITL,不只看平均 tok/s
  • [ ] 開啟前綴快取,並確認 system prompt 放在最前面且固定
  • [ ] 多租戶情境加 cache_salt,避免以時間差推理他人文件
  • [ ] 量化後跑自己的 golden set,不要只看困惑度
  • [ ] 設好 OOM 前的降級路徑(縮 context/降併發)

常見誤解

  • 「4-bit 一定掉很多分」:Q4_K_M 在一般任務幾乎無感,真正崩的是 3 bit 以下。
  • 「Q8_0 最好」:接近無損,但 decode 速度與記憶體成本都最差,多數場景不值得。
  • 「context 開越大越好」:KV 線性成長,且長 context 的有效召回會下降。
  • 「GPU 利用率 100% 就是快」:decode 階段本來就無法吃滿算力,那是頻寬限制。
  • 「本地一定比 API 便宜」:低使用率下,折舊與電費遠高於 API 帳單。

← 回首頁