Calculateur de VRAM pour LLM

Total ≈ poids + cache KV + surcharge d'exécution. Poids = paramètres × bits par poids ÷ 8 ; par exemple, un modèle de 8 milliards de paramètres demande environ 15 Gio en FP16 (16 bits) et environ 4,6 Gio en Q4_K_M (environ 4,9 bits). Le cache KV croît avec la longueur du contexte et le nombre de séquences simultanées ; réglez donc les deux.

Pour chaque jeton traité, le modèle conserve les Key et Value de chaque couche afin de ne pas les recalculer pendant la génération. Taille = 2 × couches × têtes KV × dimension de tête × octets par élément × longueur de contexte × séquences ; elle est donc proportionnelle à la longueur du contexte. Les modèles à attention par requêtes groupées (moins de têtes KV) ou à fenêtres glissantes en demandent beaucoup moins.

Moins de bits rendent les poids plus petits et généralement plus rapides, au prix de la qualité. Q8_0 est proche de l'original, Q5_K_M et Q6_K sont des compromis courants, Q4_K_M est le point de départ habituel quand la mémoire est juste, et la perte de qualité devient sensible en dessous de Q3. Le tableau montre si chaque niveau tient avec vos réglages actuels.

Tous les experts doivent être chargés ; les poids utilisent donc le total des paramètres, et non les paramètres actifs pour chaque jeton. La vitesse de génération, en revanche, dépend des paramètres ACTIFS, ce qui explique pourquoi les modèles MoE utilisent souvent beaucoup de mémoire sans être particulièrement lents.

En général non. Par défaut, le système ne laisse le GPU utiliser qu'une partie de la mémoire unifiée (environ deux tiers à trois quarts) ; choisir « Mémoire unifiée Apple » considère donc 75 % comme utilisable. Choisissez « Part utilisable personnalisée » pour correspondre à votre réglage réel.

Les poids et le cache KV sont supposés répartis à parts égales entre les cartes, et chaque carte supporte sa propre surcharge d'exécution fixe, de sorte que le total est légèrement supérieur à celui d'une seule carte. La répartition réelle (parallélisme tensoriel ou en pipeline) et la surcharge de communication dépendent du moteur ; gardez donc une marge supplémentaire.

C'est une estimation de planification pour l'INFÉRENCE uniquement : poids, cache KV et une surcharge ajustable. L'usage réel varie selon le moteur (vLLM, llama.cpp et autres), le batching, la version de CUDA et les réglages de KV paginé. L'entraînement et le fine-tuning demandent bien plus de mémoire (gradients, état de l'optimiseur, activations) et sortent du cadre de cet outil.

Générer chaque jeton lit une fois les poids actifs ; à une taille de lot de 1, le plafond est donc d'environ « bande passante mémoire ÷ octets de poids lus par jeton ». C'est une limite théorique qui ignore les limites de calcul, les lectures du cache KV et la surcharge logicielle ; la vitesse réelle est donc généralement plus basse. Il n'apparaît qu'après la saisie de la bande passante de votre appareil.