跳到工具
JoeLucky

点击工具页的「收藏」加入

工具类别

Base64 编解码JSON 查看器热门JWT 解码器UUID 生成器URL 编解码JSON 转 CSVCSV 转 JSONJSON 转 YAMLYAML 转 JSONJSON 转 XMLXML 转 JSONCSV 转 YAMLYAML 转 CSVJSON 格式化工具YAML 格式化工具XML 格式化工具HTML 格式化工具CSS 格式化工具正则表达式测试工具哈希生成器Cron 表达式解析器HTML 实体编码／解码工具进位制转换器URL 解析器／查询参数查看器CSV 查看与验证工具Markdown 预览工具SQL 格式化工具Mermaid 在线编辑器LLM API 费用计算器新LLM 显存（VRAM）计算器新RAG 文本切分可视化工具新云存储费用计算器（S3、R2、B2）新SLA 可用性计算器新
JoeLucky

实用好用的在线工具集合站

隐私政策服务条款

© 2026 JoeLucky®. 版权所有。

  1. JoeLucky
  2. /开发者
  3. /LLM 显存（VRAM）计算器

LLM 显存（VRAM）计算器

估算运行 LLM 需要多少显存，判断你的 GPU 放不放得下。

设备

常见容量
设备类型
进阶：运行时额外开销
%
放得下 — 该设置可在此设备上加载。
权重4.58 GiB
KV cache1.00 GiB
运行时开销1.46 GiB
合计7.03 GiB
每个设备需要7.03 GiB
每个设备可用22.08 GiB
剩余空间15.05 GiB
在此设备上最长可用上下文131,456
在当前上下文下最多同时序列数16
生成速度上限（约，tokens/s）—

各量化等级对照（当前设置）

各量化等级对照（当前设置）
量化bpw权重合计是否放得下
FP323229.92 GiB34.91 GiB否
FP161614.96 GiB18.45 GiB是
Q8_08.50087.95 GiB10.74 GiB是
FP887.48 GiB10.23 GiB是
Q6_K6.56336.14 GiB8.75 GiB是
Q5_K_M5.70365.33 GiB7.87 GiB是
Q5_K_S5.57045.21 GiB7.73 GiB是
Q4_K_M4.89444.58 GiB7.03 GiB是
Q4_K_S4.66724.36 GiB6.80 GiB是
Q3_K_L4.29794.02 GiB6.42 GiB是
Q3_K_M3.9963.74 GiB6.11 GiB是
Q3_K_S3.64293.41 GiB5.75 GiB是
Q2_K3.15932.95 GiB5.25 GiB是

模型规格取自 Hugging Face 的 config.json 与 safetensors 元数据（核对于 2026-10-20）；量化 bpw 来自 llama.cpp 在 Llama-3.1-8B 上的实测，其他模型略有差异。

这是推理（运行）所需内存的规划估算，不含训练或微调。实际用量因推理引擎（vLLM、llama.cpp、TensorRT-LLM…）、批次与 CUDA 版本而异，请保留余量。

公式与假设
  • 权重 = 参数量 × 每权重位数 ÷ 8。
  • KV cache = 2 × 层数 × KV 头数 × 每头维度 × 每元素字节数 × 上下文 × 序列数；使用滑动窗口的层（如 Gemma 2）最多只计窗口长度。
  • 运行时开销 = 每设备固定开销 + 权重的一定比例，为经验值，可自行调整。
  • 多设备时假设权重与 KV 平均切分，且每个设备各自付出固定开销。
  • 生成速度上限 = 内存带宽 ÷ 每 token 读取的权重字节数（批次为 1、忽略算力瓶颈）。

相似开发者

查看全部
LLM API 费用计算器

比较 OpenAI、Anthropic、Gemini 的每次与每月 API 费用，标示价格核对日期。

打开 →
RAG 文本切分可视化工具

粘贴文档，实时查看 RAG 切分结果与嵌入费用估算；文本不会上传。

打开 →
单位换算器

在长度、重量、温度、面积、体积等 12 种类别间即时换算单位。

打开 →

💬 用户留言

?

还没有留言，抢先留下你的想法！

什么是LLM 显存（VRAM）计算器？

LLM 显存（VRAM）计算器估算在本地或自建环境“运行”一个大语言模型需要多少内存。总需求 ≈ 权重 + KV cache + 运行时开销：权重 = 参数量 × 每权重位数 ÷ 8；KV cache = 2 × 层数 × KV 头数 × 每头维度 × 每元素字节数 × 上下文 × 同时序列数。选好模型、量化与设备后，会告诉你放不放得下、剩多少空间、最长可用上下文与生成速度上限。

如何使用？

  1. 选择模型（或输入自定义的参数量、层数、KV 头数与维度）与权重量化。
  2. 设置 KV cache 精度、上下文长度与同时处理的序列数。
  3. 选择设备容量与类型（独立显卡、Apple 统一内存），必要时设置设备数量与内存带宽。
  4. 查看是否放得下、各项用量、最长上下文与各量化等级的比较表。

注意事项

  • 示例：Llama 3.1 8B 以 Q4_K_M、8,192 Token 上下文、单一序列运行，权重约 4.6 GiB、KV cache 约 1 GiB，加上默认开销后约 7 GiB。
  • 模型规格取自 Hugging Face 的 config.json 与 safetensors 元数据；量化的位数取自 llama.cpp 在 Llama-3.1-8B 上的实测，其他模型略有差异。
  • 只估算推理所需内存，不含训练与微调；实际用量因推理引擎、批次与 CUDA 版本而异，请保留余量。
  • 所有计算都在你的浏览器完成。

常见问题

跑一个 LLM 需要多少显存（VRAM）？

总需求 ≈ 权重 + KV cache + 运行时开销。权重 = 参数量 × 每权重位数 ÷ 8，例如 80 亿参数的模型用 FP16（16 位）约需 15 GiB，用 Q4_K_M（约 4.9 位）约 4.6 GiB。KV cache 会随上下文长度与同时序列数增加，所以请同时设置这两项。

什么是 KV cache？为什么上下文越长越占内存？

模型每处理一个 Token，都会把每一层的 Key 与 Value 存起来，之后生成时才不必重算。大小 = 2 × 层数 × KV 头数 × 每头维度 × 每元素字节数 × 上下文长度 × 序列数，与上下文长度成正比。使用分组查询注意力（GQA，KV 头数较少）或滑动窗口的模型，KV cache 会小很多。

该选哪一种量化？Q4、Q5、Q8 差在哪？

位数越低，权重越小、速度通常越快，但质量损失越大。Q8_0 接近原始质量，Q5_K_M／Q6_K 是常见的折衷，Q4_K_M 是多数人在内存有限时的起点，Q3 以下质量损失明显。表格会列出每个等级在你当前设置下是否放得下。

MoE（混合专家）模型的内存怎么算？

所有专家都必须加载到内存，所以权重要用“总参数量”计算，而不是每个 Token 实际激活的参数量。不过生成速度取决于“激活参数量”，所以 MoE 模型常常是“占内存多但跑得不算慢”。

Apple Silicon 的统一内存可以全部拿来用吗？

通常不行。系统默认只允许 GPU 使用一部分统一内存（大约三分之二到四分之三），所以设备类型选“Apple 统一内存”时，默认只把 75% 视为可用。你也可以选“自定义可用比例”按实际设置调整。

多张显卡时怎么算？

假设权重与 KV cache 平均切分到每张卡，并且每张卡各自付出一份固定的运行时开销，所以总需求会比单卡略高。实际切分方式（张量并行、流水线并行）与通信开销因推理引擎而异，请保留额外余量。

这个结果有多准？包含训练或微调吗？

这是规划用的估算，只涵盖“推理”：权重、KV cache 与一个可调整的开销。实际用量会因推理引擎（vLLM、llama.cpp 等）、批次、CUDA 版本与分页 KV 配置而不同。训练与微调需要的内存（梯度、优化器状态、激活值）远大于推理，不在本工具范围。

生成速度上限是怎么估的？

生成每个 Token 都要读一遍激活的权重，所以在批次为 1 时速度上限约为“内存带宽 ÷ 每个 Token 读取的权重字节数”。这是理论上限，没有考虑算力瓶颈、KV cache 读取与软件开销，实际速度通常更低；需要先在栏位填入你的设备带宽才会显示。