03 · RAG 與向量資料庫

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(pgvector 0.8.6/Qdrant 1.18/Milvus 2.6-3.0/LanceDB 0.34 版本與索引支援、Qwen3-Embedding 與 BGE-M3 規格、pgvector 2000 維索引上限)

一、索引管線:八成問題出在解析

解析 → chunk → embedding → 索引 → 檢索 → rerank → 組 prompt

階段 實務要點
PDF 解析 先判斷是文字層還是掃描;掃描走 OCR,別直接丟 embedding
表格 轉成 markdown 或「欄名: 值」的句子,保留表頭;切勿讓表格變成斷行亂碼
標題階層 把 h1 > h2 > h3 併入 chunk 前綴,等於免費的語意提示
中繼資料 來源、日期、權限、章節,之後 filter 與引用都靠它

二、Chunking:沒有萬用答案,只有取捨

策略 適用 缺點
固定長度(512 token、overlap 50–80) 基準線、均質文本 切斷語意、句子斷頭
Recursive(按段落→句子遞迴切) 多數文件預設 長表格仍會爆
Semantic(相鄰句向量相似度斷點) 主題跳躍明顯的長文 成本高、結果不穩定
結構導向(按標題/條文/Q&A 對) 法規、手冊、FAQ 需先有乾淨結構

實務值:中文 chunk 300–600 字、overlap 10–15%;英文 400–800 token。先量測再調。表格與程式碼必須整塊保留,寧可超長也不要切斷。

三、Embedding 選型

模型 維度 最大長度 授權 備註
Qwen3-Embedding-0.6B 1024(MRL 可截) 32K Apache 2.0 多語,query 需 instruction
Qwen3-Embedding-4B / 8B 2560 / 4096 32K Apache 2.0 品質優先,索引成本高
BGE-M3 1024 8192 MIT 同時出 dense/sparse/multi-vector,hybrid 首選
multilingual-e5-large 1024 512 MIT 需 query:/passage: 前綴
nomic-embed-text v1.5 768(MRL) 8192 Apache 2.0 CPU 友善

三個坑: 1. 前綴不對齊:e5 要 query:/passage:,Qwen3 要 query 端 instruction、document 端不加。少寫不報錯,只會悄悄掉 1–5%。 2. 維度與索引上限:pgvector 的 vector 型別只能索引 2000 維、halfvec 4000 維。4096 維模型要 MRL 截斷或改 binary 量化。 3. 儲存成本:4 × 維度 + 8 bytes/向量;100 萬 chunk、1024 維約 4.1 GB,還沒算 HNSW 圖。

四、向量庫:先問「你已經有什麼」

系統 版本線 索引 適合
pgvector 0.8.x HNSW、IVFFlat 已有 Postgres、< 500 萬向量,首選
Qdrant 1.18 HNSW(filterable) 中大型、metadata 過濾很吃重
Milvus 2.6 / 3.0 HNSW、IVF、DiskANN、GPU 上億向量、願意養 K8s
Weaviate 1.38 HNSW+原生 hybrid 需要內建 BM25 融合
Chroma 1.5 HNSW 原型、notebook,別上生產
LanceDB 0.34 IVF_PQ、HNSW 嵌入式、S3 直讀、serverless

索引型別:Flat 暴力搜尋、100% 召回但 O(n),只適合 <10 萬或當 ground truth;HNSW 召回與延遲最佳但吃 RAM、刪除需 vacuum;IVF/IVF-PQ 省記憶體但需訓練、召回較低。pgvector 的 HNSW 預設 m=16、ef_construction=64、ef_search=40,ef_search 是查詢時主要旋鈕。

五、檢索品質:三段式才是標配

  1. Hybrid:BM25/全文 + 向量,用 RRF 或加權融合。專有名詞、料號、人名靠關鍵字,語意改寫靠向量。單靠向量在中文專有名詞上常直接失效。
  2. Rerank:cross-encoder(如 Qwen3-Reranker 系列、bge-reranker)對 top-50 重排取 top-5。這是投報率最高的一步,常把 context precision 拉起兩位數百分點。
  3. Query 處理:改寫(補代名詞、拆多意圖)、HyDE(先產生假答案再檢索)、多查詢展開。過度改寫會引入幻覺,原查詢要一起檢索。

六、五個常見失效模式

症狀 真正原因 修法
答非所問但文件在庫 chunk 切斷語意 加大 overlap、改結構導向
表格內容全錯 解析成亂碼或欄位錯位 表格轉 markdown、整塊保留
召回好但排序差 只做向量、沒 rerank 加 cross-encoder
檢索到相似但無用的段落 top-k 太大、缺 metadata filter 降 k、加權限/日期過濾
「查不到就編」 prompt 沒給退路 明確要求引用 chunk id,無依據則拒答

top-k 不是越大越好:k=20 的雜訊會稀釋注意力,還會撞上長 context 成本倍率。先取 30–50 再 rerank 到 3–5 較穩。

七、評估:沒有 golden set 就沒有優化

  • Recall@k:正確段落有沒有進候選。這是天花板,先修這個。
  • Context precision:進到 prompt 的東西有多相關(rerank 後量)。
  • 答案層:正確性、引用是否真的支撐結論(faithfulness)。
  • Golden set 建法:從真實問題抽 100–300 題,人工標「答案在哪個 chunk」。用 LLM 生成題目可以,但要人工抽查 10–20%,否則是在評測自己造的偏誤。

實務檢查清單

  • [ ] 抽 20 份最難的 PDF,人工看解析結果再往下做
  • [ ] chunk 前綴帶標題階層與文件來源
  • [ ] query 與 document 的 embedding 前綴邏輯寫在同一個函式
  • [ ] 先上 hybrid + rerank,再談換模型
  • [ ] 索引維度確認沒撞 pgvector 2000 維上限
  • [ ] 建 100 題以上的 golden set,改動前後都跑

常見誤解

  • 「換更好的 embedding 模型就會變準」:解析與 chunking 錯,換模型只是換一種錯法。
  • 「維度越高越好」:召回增益有限,儲存與延遲是線性上升。
  • 「向量搜尋可以取代關鍵字」:專有名詞與代碼類查詢,BM25 仍常勝。
  • 「top-k 大一點比較保險」:雜訊與成本同時上升,precision 反而下降。

← 回首頁