05 · 微調與對齊流程

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(查證 TRL 1.9.x / Axolotl 0.18 / Unsloth 2026.8 版本線、現行 GPU 租金、QLoRA 顯存實測區間)

一、先問「真的需要微調嗎」

症狀 先試什麼 微調是否對症
格式不穩、JSON 跑掉、語氣不符 prompt + few-shot + 結構化輸出約束 是,SFT 最強場景
缺領域知識、答案查不到 RAG / 工具呼叫 否,常讓幻覺更嚴重
該拒答卻亂答、偏好不對齊 規則護欄 → DPO 是
延遲或 token 成本太高 換小模型/量化/快取 只有蒸餾對症

結論:知識走檢索、格式走 SFT、偏好走 DPO、成本走蒸餾。沒有 eval 與回滾就不要動模型。

二、LoRA / QLoRA 原理與超參數

LoRA 凍結原權重,只訓練低秩分解 B·A(rank r);QLoRA 再把基底模型以 4-bit NF4 載入,訓練時反量化,讓 8B 模型能塞進單張 24GB 卡。

超參數 實務起點 說明
rank r 8–16(格式)/32–64(風格、領域) 再大邊際效益低且易過擬合
alpha 通常 = 2r,或 = r alpha/r 才是有效縮放倍率
target modules 全部線性層(q,k,v,o,gate,up,down) 只調 q,v 常學不動風格
learning rate LoRA 1e-4 ~ 2e-4;全量 2e-5 QLoRA 可用 2e-4
epoch 1–3 第 2 輪後 val loss 回升就停
batch 等效 16–64(grad accum 補) 太小不穩、太大收斂慢
seq len 覆蓋 p95 樣本長度,勿一刀切 4096 長度直接決定顯存

顯存實測(Llama 3.1 8B、seq 2048):Unsloth QLoRA 約 8GB,Axolotl/TRL 約 16–18GB;LoRA bf16 需 18–26GB。單張 24GB 跑 8B QLoRA 是穩的;跑全量微調不行(需 60GB+)。

三、SFT 資料工程

項目 要求
格式 直接用模型原生 chat template(apply_chat_template),勿自創格式
資料量 數百筆可起步,1k–5k 為常見甜蜜點;>10k 常是品質稀釋
品質 每筆都要能通過人工複審;錯誤示範會被 100% 學會
去重 對 prompt 正規化後做 MinHash/餘弦去重,門檻約 0.9
洩漏 eval set 與 train 在同一 prompt 上隔離
類別平衡 拒答/追問/正常回答都要有

實務鐵律:1,000 筆高品質 > 10,000 筆爬來的。資料量不足時先補資料,不要加 epoch。

四、對齊方法比較

方法 需要什麼資料 實務採用度 適用
SFT prompt→理想回覆 最高 格式、風格、任務
DPO chosen / rejected 配對 高 語氣、安全、拒答邊界
ORPO 配對(免 reference model) 中 顯存吃緊時的 DPO 替代
KTO 只要 good/bad 標籤 低–中 標註成本高、只有好壞時
PPO / GRPO reward model 或可驗證獎勵 低(GRPO 在推理題回升) 有客觀正解(數學、程式)

多數團隊的現實路徑是 SFT → DPO 就停。PPO 需要 reward model 加四個模型同時佔顯存,除非有明確可驗證的獎勵函數,投入產出比很差。

五、蒸餾:用大模型產訓練資料

做法:用強模型對你的真實問題分佈產生答案(或思維鏈),過濾後餵給 7B/8B 小模型 SFT。

風險 對策
教師錯誤被固化 用規則或單元測試驗證答案,只留可驗證樣本
分佈偏離真實使用者 題目一律取自你自己的流量
授權與條款 需查證各供應商 ToS 對「用輸出訓練競品」的限制
多樣性塌縮 保留溫度採樣與多教師混合

蒸餾的收益是推論成本(小模型單價低一個數量級),不是品質;品質天花板永遠是教師模型。

六、訓練後評估:不要只看 loss

loss 下降只證明「更像訓練資料」,不證明「任務變好」。

  1. 任務型 eval:固定 golden set,跑準確率/格式合法率/拒答正確率。
  2. 回歸比對:新模型與舊模型在同一 set 上逐題 diff,人類只看變差的題目。
  3. 人工抽樣:隨機 50–100 筆盲測(不告知哪個是微調版),兩人交叉標。
  4. 災難性遺忘檢查:抽一般常識/指令遵循題,確認沒退步。
  5. 上線前 shadow:與現行模型並跑,只記錄不影響使用者。

七、成本估算

以 2026-11 行情(需查證,變動快):A100 80GB 約 $1.0–1.4/GPU·hr、H100 SXM 約 $2.2–3.2、RTX 4090 24GB 約 $0.35–0.45、RTX 3090 約 $0.20。

情境 硬體 時間(約) 成本(約)
8B QLoRA,3k 筆,2 epoch 1× RTX 4090 1–3 小時 < $2
8B QLoRA 調參 10 組 1× A100 80GB 8–20 小時 $15–30
70B QLoRA 2× A100 80GB 10–30 小時 $30–90

結論:微調的錢幾乎不是 GPU 費,而是標註與評估的人力。預算按「每輪迭代 2 人日」估,不是按 GPU 時數估。

實務檢查清單

  • [ ] 已寫下「不用微調會怎樣」的具體失敗案例
  • [ ] 先做過 prompt / RAG 對照實驗並留下數據
  • [ ] 資料集有版本號、去重紀錄、與 eval 無洩漏
  • [ ] 固定 seed,config 進 git,可一鍵重跑
  • [ ] 有 golden set 與回歸腳本,而非只看 loss 曲線
  • [ ] 產出 model card(資料來源、限制、評估結果)
  • [ ] 保留舊 adapter,路由可切換

常見誤解

誤解 事實
「微調可以注入知識」 知識更新靠 RAG;微調擅長行為與格式
「rank 越高越好」 r=64 以上常只增加顯存,eval 不成長
「loss 更低就是更好」 loss 與任務指標可以背離,必須跑任務型 eval
「資料越多越好」 低品質資料會直接教壞模型,稀釋訊號
「DPO 一定比 SFT 好」 沒有乾淨配對資料時,DPO 會退化成亂拒答

← 回首頁