00 · AI/ML 應用工程主題總覽

來源:本機技能沉澱(無單一原始文件;以官方文件與實務經驗綜合) 網路充實:2026-11-12(LLM 推理引擎、MCP 規格、可觀測性 OTel GenAI、微調/部署工具鏈現況)


一、子主題地圖(應用工程面:LLM / RAG / Agent)

本主題聚焦「把模型用起來」而非訓練理論:從本地推理、成本選型、檢索增強、代理編排、微調對齊、實驗工具、評估監控到上線維運,形成一條可落地的工程鏈。

編號 子主題 核心問題 對應檔案
01 本地 LLM 部署與推理優化 怎麼在自有算力上跑得快、省、穩? 01_本地LLM部署與推理優化.md
02 模型選型與成本算力 選開源/閉源、API/自架、長 context 的真實成本? 02_模型選型與成本算力.md
03 RAG 與向量資料庫 如何讓回答有據可查、檢索品質可量測? 03_RAG與向量資料庫.md
04 Agent 框架與工具呼叫 何時需要 agent、如何控步數與可靠度? 04_Agent框架與工具呼叫.md
05 微調與對齊流程 什麼情況才該微調、LoRA/DPO 怎麼做? 05_微調與對齊流程.md
06 ML 工具鏈與實驗管理 環境、追蹤、版本、服務框架怎麼選? 06_ML工具鏈與實驗管理.md
07 評估與可觀測性 如何用 golden set + trace 證明「真的變好」? 07_評估與可觀測性.md
08 上線架構與維運成本 部署拓撲、快取、限流、安全與 GPU 經濟學 08_上線架構與維運成本.md

二、快速決策路由

你遇到的情境 優先讀 關鍵決策點
想在 4090 / Mac 上跑 7B–70B 01, 02 量化格式、KV cache/VRAM 估算、吞吐 vs 延遲
API 帳單暴增或要估預算 02, 08 token 經濟學、快取折扣、agent 多輪放大、語意快取
回答常幻覺、需要引用來源 03, 07 chunking + hybrid search + rerank、recall@k 與回歸測試
想讓模型會查資料/操作工具 04, 08 先單 agent + 工具,再談多 agent;步數/成本上限、權限最小化
模型格式或語氣不穩 05, 03 先 prompt/RAG,確認是行為問題再 SFT/LoRA/DPO
線上品質忽好忽壞 07, 08 trace、TTFT/TPOT、漂移偵測、fallback 與降級
要把原型變成服務 06, 08 FastAPI+推理服務分離、容器、CI smoke test、監控告警

三、子主題摘要

01 本地 LLM 部署與推理優化

比較 llama.cpp/Ollama 與 vLLM/SGLang/LMDeploy 的吞吐與易用性取捨;整理 GGUF/AWQ/GPTQ/FP8 量化、KV cache 估算、7B–70B VRAM 需求與投機解碼。結論:互動低併發偏 llama.cpp/Ollama,高併發服務偏 vLLM 類引擎;先量好瓶頸再換硬體。

02 模型選型與成本算力

建立開源 vs 閉源選型矩陣與 token 成本模型(含快取、batch、長 context 非線性)。結論:優先便宜手段(prompt/RAG)再微調/換大模型;長 context 不保證有效 recall。

03 RAG 與向量資料庫

覆蓋解析→chunking→embedding→索引→檢索→rerank 全管線,比較 pgvector/Qdrant/Milvus/Chroma 等與 HNSW/IVF。結論:混合檢索+重排通常比單純換 embedding 更有效;評估要有 golden set。

04 Agent 框架與工具呼叫

說明 function calling、ReAct/plan-and-execute、記憶與 MCP(tools/resources/prompts)。結論:能不用框架就不用;先控步數、工具描述、驗證與人機協作,再談多 agent。

05 微調與對齊流程

釐清 SFT/DPO/ORPO/KTO 適用邊界、LoRA/QLoRA 實務超參數、資料品質與蒸餾風險。結論:知識缺口先 RAG,格式/風格再 SFT,偏好對齊再 DPO;資料品質重於數量。

06 ML 工具鏈與實驗管理

整理 uv/conda、W&B/MLflow、DVC/HF、FastAPI+vLLM/Triton/BentoML、Docker 與 ML CI/CD。結論:先求可重現(環境+資料+實驗紀錄),再追求花俏平台。

07 評估與可觀測性

建立 golden set、LLM-as-a-judge 偏誤認知、trace 與 TTFT/TPOT/成本監控、漂移與 A/B 測試。結論:沒有離線回歸+線上觀測,就沒有「品質提升」這回事。

08 上線架構與維運成本

討論部署拓撲、連續批次、快取/限流/降級、安全(prompt injection/PII/最小權限)與 GPU 租買經濟學。結論:可靠性來自隔離、上限、回滾與可觀測,不來自單一最強模型。

四、跨子主題共識

共識 說明
先量測再優化 沒有 trace/eval 的調參多半是錯覺(07、08)
先便宜後昂貴 prompt/RAG/快取 → 微調 → 換大模型 → 自架大叢集(02、03、05)
簡單優先 單次呼叫 > 單 agent > 多 agent;單機可解不先上 K8s(04、08)
資料與評測是資產 golden set、資料版本、失敗案例庫比換一次模型更保值(03、06、07)
安全與成本是功能 權限、配額、注入防護、成本告警要當一等公民設計(04、07、08)

五、使用建議

  • 落地順序建議:02(選型/預算)→ 03 或 01(RAG 或本地推理)→ 04(工具化)→ 07(評估監控)→ 08(上線硬化);05 僅在 03/04 無法滿足時介入。
  • 本主題邊界:偏應用工程與維運決策,不深入訓練數學(Transformer 推導、RLHF 理論細節)。
  • 時效提醒:模型牌價、GPU 租金、框架版本與 MCP/OTel 規範變動快;各檔「📅 網路充實」標 2026-11-12,引用前請重查官方來源。
  • 免責:文中成本與效能數字多為量級估算或特定條件示例,實際結果依工作負載、模型版本與地區而異,不構成採購或容量承諾。

← 回首頁