00 · AI/ML 應用工程主題總覽
來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(LLM 推理引擎、MCP 規格、可觀測性 OTel GenAI、微調/部署工具鏈現況)
一、子主題地圖(應用工程面:LLM / RAG / Agent)
本主題聚焦「把模型用起來」而非訓練理論:從本地推理、成本選型、檢索增強、代理編排、微調對齊、實驗工具、評估監控到上線維運,形成一條可落地的工程鏈。
| 編號 | 子主題 | 核心問題 | 對應檔案 |
|---|---|---|---|
| 01 | 本地 LLM 部署與推理優化 | 怎麼在自有算力上跑得快、省、穩? | 01_本地LLM部署與推理優化.md |
| 02 | 模型選型與成本算力 | 選開源/閉源、API/自架、長 context 的真實成本? | 02_模型選型與成本算力.md |
| 03 | RAG 與向量資料庫 | 如何讓回答有據可查、檢索品質可量測? | 03_RAG與向量資料庫.md |
| 04 | Agent 框架與工具呼叫 | 何時需要 agent、如何控步數與可靠度? | 04_Agent框架與工具呼叫.md |
| 05 | 微調與對齊流程 | 什麼情況才該微調、LoRA/DPO 怎麼做? | 05_微調與對齊流程.md |
| 06 | ML 工具鏈與實驗管理 | 環境、追蹤、版本、服務框架怎麼選? | 06_ML工具鏈與實驗管理.md |
| 07 | 評估與可觀測性 | 如何用 golden set + trace 證明「真的變好」? | 07_評估與可觀測性.md |
| 08 | 上線架構與維運成本 | 部署拓撲、快取、限流、安全與 GPU 經濟學 | 08_上線架構與維運成本.md |
二、快速決策路由
| 你遇到的情境 | 優先讀 | 關鍵決策點 |
|---|---|---|
| 想在 4090 / Mac 上跑 7B–70B | 01, 02 | 量化格式、KV cache/VRAM 估算、吞吐 vs 延遲 |
| API 帳單暴增或要估預算 | 02, 08 | token 經濟學、快取折扣、agent 多輪放大、語意快取 |
| 回答常幻覺、需要引用來源 | 03, 07 | chunking + hybrid search + rerank、recall@k 與回歸測試 |
| 想讓模型會查資料/操作工具 | 04, 08 | 先單 agent + 工具,再談多 agent;步數/成本上限、權限最小化 |
| 模型格式或語氣不穩 | 05, 03 | 先 prompt/RAG,確認是行為問題再 SFT/LoRA/DPO |
| 線上品質忽好忽壞 | 07, 08 | trace、TTFT/TPOT、漂移偵測、fallback 與降級 |
| 要把原型變成服務 | 06, 08 | FastAPI+推理服務分離、容器、CI smoke test、監控告警 |
三、子主題摘要
01 本地 LLM 部署與推理優化
比較 llama.cpp/Ollama 與 vLLM/SGLang/LMDeploy 的吞吐與易用性取捨;整理 GGUF/AWQ/GPTQ/FP8 量化、KV cache 估算、7B–70B VRAM 需求與投機解碼。結論:互動低併發偏 llama.cpp/Ollama,高併發服務偏 vLLM 類引擎;先量好瓶頸再換硬體。
02 模型選型與成本算力
建立開源 vs 閉源選型矩陣與 token 成本模型(含快取、batch、長 context 非線性)。結論:優先便宜手段(prompt/RAG)再微調/換大模型;長 context 不保證有效 recall。
03 RAG 與向量資料庫
覆蓋解析→chunking→embedding→索引→檢索→rerank 全管線,比較 pgvector/Qdrant/Milvus/Chroma 等與 HNSW/IVF。結論:混合檢索+重排通常比單純換 embedding 更有效;評估要有 golden set。
04 Agent 框架與工具呼叫
說明 function calling、ReAct/plan-and-execute、記憶與 MCP(tools/resources/prompts)。結論:能不用框架就不用;先控步數、工具描述、驗證與人機協作,再談多 agent。
05 微調與對齊流程
釐清 SFT/DPO/ORPO/KTO 適用邊界、LoRA/QLoRA 實務超參數、資料品質與蒸餾風險。結論:知識缺口先 RAG,格式/風格再 SFT,偏好對齊再 DPO;資料品質重於數量。
06 ML 工具鏈與實驗管理
整理 uv/conda、W&B/MLflow、DVC/HF、FastAPI+vLLM/Triton/BentoML、Docker 與 ML CI/CD。結論:先求可重現(環境+資料+實驗紀錄),再追求花俏平台。
07 評估與可觀測性
建立 golden set、LLM-as-a-judge 偏誤認知、trace 與 TTFT/TPOT/成本監控、漂移與 A/B 測試。結論:沒有離線回歸+線上觀測,就沒有「品質提升」這回事。
08 上線架構與維運成本
討論部署拓撲、連續批次、快取/限流/降級、安全(prompt injection/PII/最小權限)與 GPU 租買經濟學。結論:可靠性來自隔離、上限、回滾與可觀測,不來自單一最強模型。
四、跨子主題共識
| 共識 | 說明 |
|---|---|
| 先量測再優化 | 沒有 trace/eval 的調參多半是錯覺(07、08) |
| 先便宜後昂貴 | prompt/RAG/快取 → 微調 → 換大模型 → 自架大叢集(02、03、05) |
| 簡單優先 | 單次呼叫 > 單 agent > 多 agent;單機可解不先上 K8s(04、08) |
| 資料與評測是資產 | golden set、資料版本、失敗案例庫比換一次模型更保值(03、06、07) |
| 安全與成本是功能 | 權限、配額、注入防護、成本告警要當一等公民設計(04、07、08) |
五、使用建議
- 落地順序建議:02(選型/預算)→ 03 或 01(RAG 或本地推理)→ 04(工具化)→ 07(評估監控)→ 08(上線硬化);05 僅在 03/04 無法滿足時介入。
- 本主題邊界:偏應用工程與維運決策,不深入訓練數學(Transformer 推導、RLHF 理論細節)。
- 時效提醒:模型牌價、GPU 租金、框架版本與 MCP/OTel 規範變動快;各檔「📅 網路充實」標 2026-11-12,引用前請重查官方來源。
- 免責:文中成本與效能數字多為量級估算或特定條件示例,實際結果依工作負載、模型版本與地區而異,不構成採購或容量承諾。