Static 知識庫 · 9 節

AI/ML 應用工程主題

由 Markdown 蒸餾文檔自動轉為靜態站(深色主題、可離線閱讀)。左側導覽可切換各子主題。

00 · AI/ML 應用工程主題總覽

本主題聚焦「把模型用起來」而非訓練理論:從本地推理、成本選型、檢索增強、代理編排、微調對齊、實驗工具、評估監控到上線維運,形成一條可落地的工程鏈。

01 · 本地 LLM 部署與推理優化

TGI 已於 2025-12 轉維護模式、2026-03 封存,新專案直接跳過。選型關鍵不是「誰最快」,而是「你的流量是否共享前綴」:獨立 prompt 下 vLLM 與 SGLang 在 70B 級差距只有幾個百分點;共享前綴重(多輪、RAG、工具定義很長)時 SGLang 的命中率明顯較高。

02 · 模型選型與成本算力

實務結論:能够用「一個抽象層+可換模型」寫的應用,就先這樣寫。把 model id、temperature、tool schema 收斂到一處設定,換模型是改一行而不是重寫。

03 · RAG 與向量資料庫

解析 → chunk → embedding → 索引 → 檢索 → rerank → 組 prompt

04 · Agent 框架與工具呼叫

模型不會「執行程式」,只輸出結構化物件:

05 · 微調與對齊流程

結論:知識走檢索、格式走 SFT、偏好走 DPO、成本走蒸餾。沒有 eval 與回滾就不要動模型。

06 · ML 工具鏈與實驗管理

實務建議:uv 管 Python 套件、Docker image 釘 CUDA,兩者分責,勿在同一專案用 conda 與 uv 裝同一個 torch。

07 · 評估與可觀測性

人眼對 LLM 輸出有強烈確認偏誤:換個 prompt 後看到的 3 個例子都變好,就宣布改善。問題是回歸通常發生在你沒看的那 200 題上。

08 · 上線架構與維運成本

結論:先做「應用 + 推論」兩層分離,別一開始上 K8s;單一模型、< 20 QPS 時複雜度大於收益。