Calculadora de VRAM para LLM

Total ≈ pesos + cache KV + sobrecarga de execução. Pesos = parâmetros × bits por peso ÷ 8; por exemplo, um modelo de 8 bilhões de parâmetros precisa de cerca de 15 GiB em FP16 (16 bits) e cerca de 4,6 GiB em Q4_K_M (cerca de 4,9 bits). O cache KV cresce com o tamanho do contexto e o número de sequências simultâneas, então ajuste os dois.

Para cada token processado o modelo guarda as Key e Value de cada camada para não recalculá-las ao gerar. Tamanho = 2 × camadas × cabeças KV × dimensão da cabeça × bytes por elemento × tamanho do contexto × sequências, ou seja, é proporcional ao tamanho do contexto. Modelos com atenção por consultas agrupadas (menos cabeças KV) ou janelas deslizantes precisam de muito menos.

Menos bits deixam os pesos menores e geralmente mais rápidos, ao custo da qualidade. Q8_0 fica próximo do original, Q5_K_M e Q6_K são compromissos comuns, Q4_K_M é o ponto de partida usual quando a memória está apertada, e a perda de qualidade se torna perceptível abaixo de Q3. A tabela mostra se cada nível cabe nas suas configurações atuais.

Todos os especialistas precisam ser carregados, então os pesos usam os parâmetros TOTAIS, não os parâmetros ativos por token. A velocidade de geração, porém, depende dos parâmetros ATIVOS, e é por isso que modelos MoE costumam usar muita memória sem serem especialmente lentos.

Normalmente não. Por padrão o sistema deixa a GPU usar só parte da memória unificada (aproximadamente de dois terços a três quartos), então escolher “Memória unificada da Apple” considera 75% como utilizável. Escolha “Parcela utilizável personalizada” para corresponder à sua configuração real.

Presume-se que os pesos e o cache KV se dividam igualmente entre as placas e cada placa pague a própria sobrecarga fixa de execução, então o total fica um pouco acima do de uma só placa. A divisão real (paralelismo de tensor ou de pipeline) e a sobrecarga de comunicação dependem do motor, então deixe uma margem extra.

É uma estimativa de planejamento apenas para INFERÊNCIA: pesos, cache KV e uma sobrecarga ajustável. O uso real varia com o motor (vLLM, llama.cpp e outros), o processamento em lote, a versão do CUDA e as configurações de KV paginado. Treinamento e ajuste fino exigem muito mais memória (gradientes, estado do otimizador, ativações) e estão fora desta ferramenta.

Gerar cada token lê os pesos ativos uma vez, então com tamanho de lote 1 o teto é aproximadamente “largura de banda de memória ÷ bytes de peso lidos por token”. É um limite teórico que ignora limites de computação, leituras do cache KV e sobrecarga de software, então a velocidade real costuma ser menor. Ele só aparece depois que você informa a largura de banda do seu dispositivo.