03 · RAG 與向量資料庫
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(pgvector 0.8.6/Qdrant 1.18/Milvus 2.6-3.0/LanceDB 0.34 版本與索引支援、Qwen3-Embedding 與 BGE-M3 規格、pgvector 2000 維索引上限)
一、索引管線:八成問題出在解析
解析 → chunk → embedding → 索引 → 檢索 → rerank → 組 prompt
| 階段 | 實務要點 |
|---|---|
| PDF 解析 | 先判斷是文字層還是掃描;掃描走 OCR,別直接丟 embedding |
| 表格 | 轉成 markdown 或「欄名: 值」的句子,保留表頭;切勿讓表格變成斷行亂碼 |
| 標題階層 | 把 h1 > h2 > h3 併入 chunk 前綴,等於免費的語意提示 |
| 中繼資料 | 來源、日期、權限、章節,之後 filter 與引用都靠它 |
二、Chunking:沒有萬用答案,只有取捨
| 策略 | 適用 | 缺點 |
|---|---|---|
| 固定長度(512 token、overlap 50–80) | 基準線、均質文本 | 切斷語意、句子斷頭 |
| Recursive(按段落→句子遞迴切) | 多數文件預設 | 長表格仍會爆 |
| Semantic(相鄰句向量相似度斷點) | 主題跳躍明顯的長文 | 成本高、結果不穩定 |
| 結構導向(按標題/條文/Q&A 對) | 法規、手冊、FAQ | 需先有乾淨結構 |
實務值:中文 chunk 300–600 字、overlap 10–15%;英文 400–800 token。先量測再調。表格與程式碼必須整塊保留,寧可超長也不要切斷。
三、Embedding 選型
| 模型 | 維度 | 最大長度 | 授權 | 備註 |
|---|---|---|---|---|
| Qwen3-Embedding-0.6B | 1024(MRL 可截) | 32K | Apache 2.0 | 多語,query 需 instruction |
| Qwen3-Embedding-4B / 8B | 2560 / 4096 | 32K | Apache 2.0 | 品質優先,索引成本高 |
| BGE-M3 | 1024 | 8192 | MIT | 同時出 dense/sparse/multi-vector,hybrid 首選 |
| multilingual-e5-large | 1024 | 512 | MIT | 需 query:/passage: 前綴 |
| nomic-embed-text v1.5 | 768(MRL) | 8192 | Apache 2.0 | CPU 友善 |
三個坑:
1. 前綴不對齊:e5 要 query:/passage:,Qwen3 要 query 端 instruction、document 端不加。少寫不報錯,只會悄悄掉 1–5%。
2. 維度與索引上限:pgvector 的 vector 型別只能索引 2000 維、halfvec 4000 維。4096 維模型要 MRL 截斷或改 binary 量化。
3. 儲存成本:4 × 維度 + 8 bytes/向量;100 萬 chunk、1024 維約 4.1 GB,還沒算 HNSW 圖。
四、向量庫:先問「你已經有什麼」
| 系統 | 版本線 | 索引 | 適合 |
|---|---|---|---|
| pgvector | 0.8.x | HNSW、IVFFlat | 已有 Postgres、< 500 萬向量,首選 |
| Qdrant | 1.18 | HNSW(filterable) | 中大型、metadata 過濾很吃重 |
| Milvus | 2.6 / 3.0 | HNSW、IVF、DiskANN、GPU | 上億向量、願意養 K8s |
| Weaviate | 1.38 | HNSW+原生 hybrid | 需要內建 BM25 融合 |
| Chroma | 1.5 | HNSW | 原型、notebook,別上生產 |
| LanceDB | 0.34 | IVF_PQ、HNSW | 嵌入式、S3 直讀、serverless |
索引型別:Flat 暴力搜尋、100% 召回但 O(n),只適合 <10 萬或當 ground truth;HNSW 召回與延遲最佳但吃 RAM、刪除需 vacuum;IVF/IVF-PQ 省記憶體但需訓練、召回較低。pgvector 的 HNSW 預設 m=16、ef_construction=64、ef_search=40,ef_search 是查詢時主要旋鈕。
五、檢索品質:三段式才是標配
- Hybrid:BM25/全文 + 向量,用 RRF 或加權融合。專有名詞、料號、人名靠關鍵字,語意改寫靠向量。單靠向量在中文專有名詞上常直接失效。
- Rerank:cross-encoder(如 Qwen3-Reranker 系列、bge-reranker)對 top-50 重排取 top-5。這是投報率最高的一步,常把 context precision 拉起兩位數百分點。
- Query 處理:改寫(補代名詞、拆多意圖)、HyDE(先產生假答案再檢索)、多查詢展開。過度改寫會引入幻覺,原查詢要一起檢索。
六、五個常見失效模式
| 症狀 | 真正原因 | 修法 |
|---|---|---|
| 答非所問但文件在庫 | chunk 切斷語意 | 加大 overlap、改結構導向 |
| 表格內容全錯 | 解析成亂碼或欄位錯位 | 表格轉 markdown、整塊保留 |
| 召回好但排序差 | 只做向量、沒 rerank | 加 cross-encoder |
| 檢索到相似但無用的段落 | top-k 太大、缺 metadata filter | 降 k、加權限/日期過濾 |
| 「查不到就編」 | prompt 沒給退路 | 明確要求引用 chunk id,無依據則拒答 |
top-k 不是越大越好:k=20 的雜訊會稀釋注意力,還會撞上長 context 成本倍率。先取 30–50 再 rerank 到 3–5 較穩。
七、評估:沒有 golden set 就沒有優化
- Recall@k:正確段落有沒有進候選。這是天花板,先修這個。
- Context precision:進到 prompt 的東西有多相關(rerank 後量)。
- 答案層:正確性、引用是否真的支撐結論(faithfulness)。
- Golden set 建法:從真實問題抽 100–300 題,人工標「答案在哪個 chunk」。用 LLM 生成題目可以,但要人工抽查 10–20%,否則是在評測自己造的偏誤。
實務檢查清單
- [ ] 抽 20 份最難的 PDF,人工看解析結果再往下做
- [ ] chunk 前綴帶標題階層與文件來源
- [ ] query 與 document 的 embedding 前綴邏輯寫在同一個函式
- [ ] 先上 hybrid + rerank,再談換模型
- [ ] 索引維度確認沒撞 pgvector 2000 維上限
- [ ] 建 100 題以上的 golden set,改動前後都跑
常見誤解
- 「換更好的 embedding 模型就會變準」:解析與 chunking 錯,換模型只是換一種錯法。
- 「維度越高越好」:召回增益有限,儲存與延遲是線性上升。
- 「向量搜尋可以取代關鍵字」:專有名詞與代碼類查詢,BM25 仍常勝。
- 「top-k 大一點比較保險」:雜訊與成本同時上升,precision 反而下降。