大語言模型
學習地圖

雲端與本機有什麼不同?

以整理報名資料為例,先確認資料送往哪裡、由誰管理環境,以及可能有哪些成本。

雲端服務

資料流向:依服務設定送至外部服務處理。

維護:服務供應商與使用者依各自責任管理。

成本:視用量、方案與其他條件而定。

本機或自建

資料流向:取決於系統與網路設定。

維護:需自行處理硬體、更新與權限。

成本:可能包含硬體、電力及維護,不能只看 Token 帳單。

部署位置本身不保證隱私或符合法規;仍需檢查資料流、設定與實際條件。

原教材:部署圖與硬體矩陣

既有教材資料與硬體條件待核對。

CLOUD API · 雲端計量模式 用戶端(Client App / Browser) 攜帶 API Key · 發起 HTTPS POST 請求 公網傳輸 (TLS 加密) 供應商雲端網關(API Gateway) 身份認證 · 速率限制 (Rate Limit) · Token 計費扣款 按百萬 Token 計價 ($0.15 ~ $3.00 / 1M) 數萬張 H100 / TPU 超級叢集 o3 / Claude 3.7 Sonnet / Gemini 2.0 / R1 數千億 MoE 頂級參數 · 智能推理天花板 零本機硬體門檻 · 即開即用 優勢: 智能極致、免運維、支援百萬超長上下文。 劣勢: 高並發帳單成本持續增加、敏感資料經外部網路。 LOCAL ON-PREM · 地端離線模式 用戶端(內部業務系統 / 腳本) 呼叫本機 http://localhost:11434 端口 示意:離線執行 Ollama / vLLM 本機執行引擎 llama.cpp 底層推理 · GGUF 4-bit 量化載入 Token 費用 $0.00 · 無限量本地調用 本機晶片與顯存(Apple Silicon / RTX) DeepSeek-R1-Distill · Qwen 2.5 · Llama 3.3 資料可留在受控環境,仍需管理風險 依賴本地顯存 (8GB 跑 7B, 24GB+ 跑 32B/70B) 優勢: 依設定可離線;隱私、成本與維護仍需評估。 劣勢: 受限本機硬體顯存,超大模型(70B+)運行緩慢。
決策維度 ☁️ 雲端 API 模式 (OpenAI, Gemini, Claude) 🏠 地端自建模式 (Ollama, vLLM, 私有伺服器)
🔒 數據隱私與合規 資料需傳送至外部伺服器
雖然商業 API 承諾不使用客戶資料訓練,但在高度管制的金融、醫療、國防領域,外部傳輸本身即可能違反法規。
資料流向取決於部署與網路設定
能否離線及是否符合規範,取決於實際系統、資料流與管理措施。
💰 成本結構與收費 按量計費(Pay-as-you-go)
前期投入為 0;但如果業務流量極大(如每秒數百次呼叫),累積的 Token 帳單將非常可觀。
前期硬體固定資產投入
日常呼叫 Token 邊際成本為 0!但需要投資高階 GPU(如 RTX 4090、A100 或 Mac M3/M4 Max 高統一記憶體)。
🧠 智能天花板與推理力 極致頂級(Frontier Intelligence)
背後是數千億甚至上兆參數的龐大叢集(如 GPT-4o, Claude 3.5 Sonnet),在複雜邏輯、跨領域推理遙遙領先。
受限於本機顯存(VRAM)
個人筆電通常只能跑 7B~14B 模型,70B 需高階顯卡。在嚴密邏輯或細膩文筆上與雲端旗艦有明顯落差。
⚡ 部署與維運難度 零維運(Serverless)
申請 API Key,一行 requests.post 或官方 SDK 即可呼叫,全世界高可用性由巨頭維護。
需要掌握基礎運維知識
需安裝 Ollama、配置 CUDA 驅動、處理量化格式(GGUF)、記憶體溢出(OOM)與高並發排隊問題。
🎯 最佳推薦實戰場景 • 企業核心業務決策分析
• 複雜 Python 資料分析代碼自動編寫
• 多語言翻譯與數十萬字長文本綜合研讀
• 敏感財務報表初篩與個人隱私資料清洗
• 內部私有文檔搜索(離線 RAG)
• 飛機、高鐵等無網路狀態下的個人生產力
矩陣三:地端與私有化部署硬體門檻對照表 (On-Premises Hardware Configuration)
企業合規與私有算力選型
開源模型名稱 總參數 / 激活參數 建議量化推論格式 最低地端硬體配置 (滿足基本流水線) 生產級高併發建議硬體架構
DeepSeek-V4.1-Flash 284B / 13B INT4 / FP4 / FP8 4× NVIDIA A100/H100 (80GB) 或 4× 華為昇騰 910B 8× H100/H200 NVLink 節點;單卡推論吞吐可達 120+ tok/s
DeepSeek-V4-Pro 1.6T / 49B FP4 (InferenceX/SGLang) 2 節點 (共 16× H100 80GB,透過 InfiniBand 互連) 4 節點 B200/B300 叢集或同等規格大規模昇騰叢集
Kimi K3.1 Pro 2.8T~3.0T / 104B MXFP4 權重 / MXFP8 激活 4 個 8 卡節點 (共 32× H100/H200 80GB) 8 節點 HGX H200 / B200 叢集;需龐大高速 RDMA 網絡支撐專家路由
MiniMax M3 428B / 22B BF16 / FP8 8× NVIDIA H100/A100 (80GB) 2 節點 (16× GPU) NeMo AutoModel 部署,維持滿載 1M KV 顯存
Grok-1 (早期開源權重) 314B / 2 專家激活 INT4 / FP8 / BF16 8× NVIDIA A100 (80GB) 伺服器 官方開源 JAX 權重(Apache 2.0);注意:Grok 3 與 Grok 4 系列均未開源
Muse Spark Open ~70B 密集或中小 MoE INT4 / INT8 / FP16 2× RTX 4090 (24GB) 或 1× A100 (80GB) 單台 4× A100/H100 伺服器即可滿足中大型企業內部部門級併發