01 · 本地 LLM 部署與推理優化
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(vLLM 0.33 / SGLang 0.5.23 / LMDeploy 0.18 的功能邊界、TGI 封存時點、GGUF K-quant 實測 bpw 與困惑度)
一、先分「單人用」與「多人用」
| 引擎 | 殺手級功能 | 適用 |
|---|---|---|
| llama.cpp | GGUF、CPU/Metal、部分卸載 | 單機、Mac、無獨顯 |
| Ollama | llama.cpp 包裝+模型管理 | 原型、內部小工具 |
| vLLM | PagedAttention、continuous batching、APC 前綴快取 | 生產預設,模型支援最廣 |
| SGLang | RadixAttention(token 級基數樹共享前綴) | 多輪、RAG、agent 共用長 system prompt |
| LMDeploy | TurboMind C++、INT4 KV cache | 量化單卡、Qwen 系列 |
| TensorRT-LLM | NVIDIA 原生 kernel | 願付編譯成本換峰值 |
TGI 已於 2025-12 轉維護模式、2026-03 封存,新專案直接跳過。選型關鍵不是「誰最快」,而是「你的流量是否共享前綴」:獨立 prompt 下 vLLM 與 SGLang 在 70B 級差距只有幾個百分點;共享前綴重(多輪、RAG、工具定義很長)時 SGLang 的命中率明顯較高。
二、量化:位元數決定一切
| 格式 | 實際 bpw | 8B 檔案 | 困惑度增幅(8B 參考) |
|---|---|---|---|
| Q4_K_M | 4.89 | 4.6 GiB | +3% 左右,一般任務無感 |
| Q5_K_M | 5.70 | 5.3 GiB | +1% 左右,寫程式/JSON 較穩 |
| Q6_K | 6.57 | 6.1 GiB | +0.4% |
| Q8_0 | 8.50 | 8.0 GiB | 幾乎無損,但慢、佔記憶體 |
| AWQ / GPTQ 4-bit | ~4.25 | — | 需 GPU;AWQ 在指令跟隨略優於 GPTQ |
| FP8 | 8 | — | H100 級原生支援,品質接近 FP16 |
結論:預設 Q4_K_M,寫程式或結構化輸出升 Q5_K_M,低於 3 bit 只在「跑得動比跑得好重要」時用。K-quant 的 M 版會把部分 attention/FFN 張量留在 6 bit,這是同檔案大小下品質較好的原因。模型越大,量化容忍度越高:70B Q4 通常比 32B Q5 更值得。
三、KV cache 是記憶體殺手
每 token 的 KV 大小=2 × 層數 × KV head 數 × head_dim × 位元組數。
- Llama-3-8B(32 層、8 KV head、128):FP16 下約 128 KiB/token,8K context 約 1 GiB。
- 70B(80 層):約 320 KiB/token,8K 約 2.5 GiB;32K 就吃掉 10 GiB。
- KV cache 量化成 FP8/INT8 可再砍半,品質損失通常小於權重 4-bit。
vLLM 兩個旋鈕:gpu_memory_utilization(0.85–0.92,留空間給 CUDA graph 與碎片)、max_model_len(别直接設模型上限,會拖慢啟動並浪費 KV 區)。max_num_seqs 換吞吐也換 KV;併發低時別開大。
四、硬體估算(4-bit 權重+8K context)
| 模型 | 權重 | 實務 VRAM | 可跑硬體 |
|---|---|---|---|
| 7–8B | ~4.6 GB | 6–7 GB | RTX 4060 Ti 16G、4070 |
| 14B | ~9 GB | 11–12 GB | 4080、4090(游刃有餘) |
| 32B | ~20 GB | 22–24 GB | 4090 24G 勉強,context 別開滿 |
| 70B | ~40 GB | 44–48 GB | 2×4090、48G+ Mac unified memory |
Mac 的 unified memory 頻寬(M4 Max 約 500 GB/s 級)決定了 decode 速度上限,好處是「大模型塞得下」,壞處是高併發吞吐遠不如資料中心 GPU。
五、吞吐 vs 延遲:兩個不同瓶頸
- Prefill 是算力瓶頸:長 prompt 一次算完,batch 越大越划算;chunked prefill 可讓長 prompt 不阻塞短請求。
- Decode 是記憶體頻寬瓶頸:每 token 要把權重掃一遍,所以
tok/s ≈ 頻寬 ÷ 權重位元組。4090(~1 TB/s)跑 8B Q4 的理論上限約 200 tok/s,實測常見 70–120。 - 投機解碼(draft model、n-gram、EAGLE-3)在低 batch、memory-bound 時可加速約 1.5–3 倍;batch 大、GPU 已吃滿時收益趨近零,甚至變慢。
六、決策樹:本地還是 API
- 資料不能出境/有法規或合約限制 → 本地。
- 每月 token 量大且穩定(尖峰可預測)→ 本地攤提才划算。
- 需求是「偶爾跑、偶爾大模型」→ API,別為了省錢買卡。
- 需要最新 frontier 能力、長 context、多模態 → API 通常仍領先。
- 延遲要求 <100 ms 且呼叫量高 → 本地+前綴快取,或 edge 小模型。
- 只是做 PoC/驗證想法 → 先用 API,別先架 GPU。
混合模式最實際:本地跑高頻、低難度(分類、抽取、改寫),API 只留給難例。
實務檢查清單
- [ ] 先量測真實 prompt 長度分佈,再決定
max_model_len - [ ] 確認 tokenizer 與模型版本一致(換版重算 token 數)
- [ ] 壓測看 p95 TTFT 與 ITL,不只看平均 tok/s
- [ ] 開啟前綴快取,並確認 system prompt 放在最前面且固定
- [ ] 多租戶情境加
cache_salt,避免以時間差推理他人文件 - [ ] 量化後跑自己的 golden set,不要只看困惑度
- [ ] 設好 OOM 前的降級路徑(縮 context/降併發)
常見誤解
- 「4-bit 一定掉很多分」:Q4_K_M 在一般任務幾乎無感,真正崩的是 3 bit 以下。
- 「Q8_0 最好」:接近無損,但 decode 速度與記憶體成本都最差,多數場景不值得。
- 「context 開越大越好」:KV 線性成長,且長 context 的有效召回會下降。
- 「GPU 利用率 100% 就是快」:decode 階段本來就無法吃滿算力,那是頻寬限制。
- 「本地一定比 API 便宜」:低使用率下,折舊與電費遠高於 API 帳單。