LLM VRAM（GPU メモリ）計算ツール

必要量＝重み＋KV キャッシュ＋実行時オーバーヘッドです。重み＝パラメータ数×1 重みあたりのビット数÷8 で、たとえば 80 億パラメータのモデルは FP16（16 ビット）で約 15 GiB、Q4_K_M（約 4.9 ビット）で約 4.6 GiB です。KV キャッシュはコンテキスト長と同時シーケンス数に応じて増えるので、両方を設定してください。

モデルは 1 トークン処理するたびに各レイヤーの Key と Value を保存し、生成時の再計算を避けます。サイズ＝2×レイヤー数×KV ヘッド数×ヘッド次元×1 要素のバイト数×コンテキスト長×シーケンス数で、コンテキスト長に比例します。グループドクエリアテンション（KV ヘッドが少ない）やスライディングウィンドウを使うモデルでは大幅に小さくなります。

ビット数が少ないほど重みは小さく通常は高速になりますが、品質は落ちます。Q8_0 は元に近く、Q5_K_M や Q6_K は一般的な折衷案、メモリが厳しいときの出発点は Q4_K_M で、Q3 未満になると品質の低下がはっきりします。現在の設定で各レベルが収まるかは表で確認できます。

すべてのエキスパートをロードする必要があるため、重みは各トークンで実際に使われるパラメータ数ではなく「総パラメータ数」で計算します。一方、生成速度は「アクティブパラメータ数」で決まるため、MoE はメモリを多く使うわりに極端には遅くない、という特徴があります。

通常は使えません。システムの既定では GPU が使えるのはユニファイドメモリの一部（おおむね 3 分の 2〜4 分の 3）なので、「Apple ユニファイドメモリ」を選ぶと 75% を利用可能として扱います。実際の設定に合わせたい場合は「利用可能な割合を指定」を選んでください。

重みと KV キャッシュは各カードに均等に分割され、各カードが固定の実行時オーバーヘッドをそれぞれ負担すると仮定するため、単一カードより合計はやや大きくなります。実際の分割方法（テンソル並列・パイプライン並列）や通信のオーバーヘッドは推論エンジンによって異なるので、余裕を持たせてください。

計画用の見積もりで、対象は「推論」のみ（重み、KV キャッシュ、調整できるオーバーヘッド）です。実際の使用量は推論エンジン（vLLM、llama.cpp など）、バッチ、CUDA のバージョン、ページング KV の設定で変わります。学習やファインチューニングは勾配・オプティマイザ状態・活性化などではるかに多くのメモリを要し、このツールの対象外です。

1 トークンを生成するたびにアクティブな重みを 1 回読むため、バッチ 1 では上限はおおよそ「メモリ帯域÷1 トークンあたりに読む重みのバイト数」です。計算律速・KV キャッシュの読み取り・ソフトウェアのオーバーヘッドを無視した理論上限なので、実際の速度は通常これより低くなります。デバイスの帯域を入力すると表示されます。