05 · 微調與對齊流程
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(查證 TRL 1.9.x / Axolotl 0.18 / Unsloth 2026.8 版本線、現行 GPU 租金、QLoRA 顯存實測區間)
一、先問「真的需要微調嗎」
| 症狀 | 先試什麼 | 微調是否對症 |
|---|---|---|
| 格式不穩、JSON 跑掉、語氣不符 | prompt + few-shot + 結構化輸出約束 | 是,SFT 最強場景 |
| 缺領域知識、答案查不到 | RAG / 工具呼叫 | 否,常讓幻覺更嚴重 |
| 該拒答卻亂答、偏好不對齊 | 規則護欄 → DPO | 是 |
| 延遲或 token 成本太高 | 換小模型/量化/快取 | 只有蒸餾對症 |
結論:知識走檢索、格式走 SFT、偏好走 DPO、成本走蒸餾。沒有 eval 與回滾就不要動模型。
二、LoRA / QLoRA 原理與超參數
LoRA 凍結原權重,只訓練低秩分解 B·A(rank r);QLoRA 再把基底模型以 4-bit NF4 載入,訓練時反量化,讓 8B 模型能塞進單張 24GB 卡。
| 超參數 | 實務起點 | 說明 |
|---|---|---|
| rank r | 8–16(格式)/32–64(風格、領域) | 再大邊際效益低且易過擬合 |
| alpha | 通常 = 2r,或 = r | alpha/r 才是有效縮放倍率 |
| target modules | 全部線性層(q,k,v,o,gate,up,down) | 只調 q,v 常學不動風格 |
| learning rate | LoRA 1e-4 ~ 2e-4;全量 2e-5 | QLoRA 可用 2e-4 |
| epoch | 1–3 | 第 2 輪後 val loss 回升就停 |
| batch | 等效 16–64(grad accum 補) | 太小不穩、太大收斂慢 |
| seq len | 覆蓋 p95 樣本長度,勿一刀切 4096 | 長度直接決定顯存 |
顯存實測(Llama 3.1 8B、seq 2048):Unsloth QLoRA 約 8GB,Axolotl/TRL 約 16–18GB;LoRA bf16 需 18–26GB。單張 24GB 跑 8B QLoRA 是穩的;跑全量微調不行(需 60GB+)。
三、SFT 資料工程
| 項目 | 要求 |
|---|---|
| 格式 | 直接用模型原生 chat template(apply_chat_template),勿自創格式 |
| 資料量 | 數百筆可起步,1k–5k 為常見甜蜜點;>10k 常是品質稀釋 |
| 品質 | 每筆都要能通過人工複審;錯誤示範會被 100% 學會 |
| 去重 | 對 prompt 正規化後做 MinHash/餘弦去重,門檻約 0.9 |
| 洩漏 | eval set 與 train 在同一 prompt 上隔離 |
| 類別平衡 | 拒答/追問/正常回答都要有 |
實務鐵律:1,000 筆高品質 > 10,000 筆爬來的。資料量不足時先補資料,不要加 epoch。
四、對齊方法比較
| 方法 | 需要什麼資料 | 實務採用度 | 適用 |
|---|---|---|---|
| SFT | prompt→理想回覆 | 最高 | 格式、風格、任務 |
| DPO | chosen / rejected 配對 | 高 | 語氣、安全、拒答邊界 |
| ORPO | 配對(免 reference model) | 中 | 顯存吃緊時的 DPO 替代 |
| KTO | 只要 good/bad 標籤 | 低–中 | 標註成本高、只有好壞時 |
| PPO / GRPO | reward model 或可驗證獎勵 | 低(GRPO 在推理題回升) | 有客觀正解(數學、程式) |
多數團隊的現實路徑是 SFT → DPO 就停。PPO 需要 reward model 加四個模型同時佔顯存,除非有明確可驗證的獎勵函數,投入產出比很差。
五、蒸餾:用大模型產訓練資料
做法:用強模型對你的真實問題分佈產生答案(或思維鏈),過濾後餵給 7B/8B 小模型 SFT。
| 風險 | 對策 |
|---|---|
| 教師錯誤被固化 | 用規則或單元測試驗證答案,只留可驗證樣本 |
| 分佈偏離真實使用者 | 題目一律取自你自己的流量 |
| 授權與條款 | 需查證各供應商 ToS 對「用輸出訓練競品」的限制 |
| 多樣性塌縮 | 保留溫度採樣與多教師混合 |
蒸餾的收益是推論成本(小模型單價低一個數量級),不是品質;品質天花板永遠是教師模型。
六、訓練後評估:不要只看 loss
loss 下降只證明「更像訓練資料」,不證明「任務變好」。
- 任務型 eval:固定 golden set,跑準確率/格式合法率/拒答正確率。
- 回歸比對:新模型與舊模型在同一 set 上逐題 diff,人類只看變差的題目。
- 人工抽樣:隨機 50–100 筆盲測(不告知哪個是微調版),兩人交叉標。
- 災難性遺忘檢查:抽一般常識/指令遵循題,確認沒退步。
- 上線前 shadow:與現行模型並跑,只記錄不影響使用者。
七、成本估算
以 2026-11 行情(需查證,變動快):A100 80GB 約 $1.0–1.4/GPU·hr、H100 SXM 約 $2.2–3.2、RTX 4090 24GB 約 $0.35–0.45、RTX 3090 約 $0.20。
| 情境 | 硬體 | 時間(約) | 成本(約) |
|---|---|---|---|
| 8B QLoRA,3k 筆,2 epoch | 1× RTX 4090 | 1–3 小時 | < $2 |
| 8B QLoRA 調參 10 組 | 1× A100 80GB | 8–20 小時 | $15–30 |
| 70B QLoRA | 2× A100 80GB | 10–30 小時 | $30–90 |
結論:微調的錢幾乎不是 GPU 費,而是標註與評估的人力。預算按「每輪迭代 2 人日」估,不是按 GPU 時數估。
實務檢查清單
- [ ] 已寫下「不用微調會怎樣」的具體失敗案例
- [ ] 先做過 prompt / RAG 對照實驗並留下數據
- [ ] 資料集有版本號、去重紀錄、與 eval 無洩漏
- [ ] 固定 seed,config 進 git,可一鍵重跑
- [ ] 有 golden set 與回歸腳本,而非只看 loss 曲線
- [ ] 產出 model card(資料來源、限制、評估結果)
- [ ] 保留舊 adapter,路由可切換
常見誤解
| 誤解 | 事實 |
|---|---|
| 「微調可以注入知識」 | 知識更新靠 RAG;微調擅長行為與格式 |
| 「rank 越高越好」 | r=64 以上常只增加顯存,eval 不成長 |
| 「loss 更低就是更好」 | loss 與任務指標可以背離,必須跑任務型 eval |
| 「資料越多越好」 | 低品質資料會直接教壞模型,稀釋訊號 |
| 「DPO 一定比 SFT 好」 | 沒有乾淨配對資料時,DPO 會退化成亂拒答 |