LLM 顯示記憶體（VRAM）計算機

總需求 ≈ 權重 + KV cache + 執行期開銷。權重 = 參數量 × 每權重位元數 ÷ 8，例如 80 億參數的模型用 FP16（16 位元）約需 15 GiB，用 Q4_K_M（約 4.9 位元）約 4.6 GiB。KV cache 會隨上下文長度與同時序列數增加，所以請同時設定這兩項。

模型每處理一個 Token，都會把每一層的 Key 與 Value 存起來，之後生成時才不必重算。大小 = 2 × 層數 × KV 頭數 × 每頭維度 × 每元素位元組 × 上下文長度 × 序列數，與上下文長度成正比。使用分組查詢注意力（GQA，KV 頭數較少）或滑動視窗的模型，KV cache 會小很多。

位元數越低，權重越小、速度通常越快，但品質損失越大。Q8_0 接近原始品質，Q5_K_M／Q6_K 是常見的折衷，Q4_K_M 是多數人在記憶體有限時的起點，Q3 以下品質損失明顯。表格會列出每個等級在你目前設定下是否放得下。

所有專家都必須載入記憶體，所以權重要用「總參數量」計算，而不是每個 Token 實際啟用的參數量。不過生成速度取決於「啟用參數量」，所以 MoE 模型常常是「吃很多記憶體但跑得不算慢」。

通常不行。系統預設只允許 GPU 使用一部分統一記憶體（大約三分之二到四分之三），所以裝置類型選「Apple 統一記憶體」時，預設只把 75% 視為可用。你也可以選「自訂可用比例」依實際設定調整。

假設權重與 KV cache 平均切分到每張卡，並且每張卡各自付出一份固定的執行期開銷，所以總需求會比單卡略高。實際切分方式（張量並行、管線並行）與通訊開銷因推論引擎而異，請保留額外餘裕。

這是規劃用的估算，只涵蓋「推論」：權重、KV cache 與一個可調整的開銷。實際用量會因推論引擎（vLLM、llama.cpp 等）、批次、CUDA 版本與分頁 KV 配置而不同。訓練與微調需要的記憶體（梯度、優化器狀態、啟用值）遠大於推論，不在本工具範圍。