Perkirakan VRAM yang dibutuhkan LLM dan periksa apakah muat di GPU Anda.
Bandingkan biaya API per permintaan dan bulanan di OpenAI, Anthropic, dan Gemini, dengan tanggal verifikasi harga.
Buka →Tempel dokumen untuk melihat pemecahan RAG dan perkiraan biaya embedding langsung. Teks tidak diunggah.
Buka →Konversi antarsatuan di 12 kategori, termasuk panjang, berat, suhu, luas, dan volume.
Buka →Belum ada komentar. Jadilah yang pertama!
Kalkulator VRAM LLM memperkirakan memori yang Anda perlukan untuk MENJALANKAN model bahasa besar secara lokal atau self-hosted. Total ≈ bobot + KV cache + overhead runtime, dengan bobot = parameter × bit per bobot ÷ 8 dan KV cache = 2 × lapisan × kepala KV × dimensi kepala × byte per elemen × konteks × sekuens bersamaan. Pilih model, kuantisasi, dan perangkat, lalu alat memberi tahu apakah muat, sisa ruang, konteks terpanjang yang muat, dan batas atas kecepatan generasi.
Total ≈ bobot + cache KV + overhead runtime. Bobot = parameter × bit per bobot ÷ 8; misalnya model 8 miliar parameter membutuhkan sekitar 15 GiB dalam FP16 (16 bit) dan sekitar 4,6 GiB dalam Q4_K_M (sekitar 4,9 bit). Cache KV tumbuh seiring panjang konteks dan jumlah sekuens bersamaan, jadi atur keduanya.
Untuk setiap token yang diproses, model menyimpan Key dan Value tiap lapisan agar tidak perlu menghitungnya ulang saat menghasilkan. Ukuran = 2 × lapisan × kepala KV × dimensi kepala × byte per elemen × panjang konteks × sekuens, sehingga sebanding dengan panjang konteks. Model dengan grouped-query attention (kepala KV lebih sedikit) atau jendela geser membutuhkan jauh lebih sedikit.
Bit lebih sedikit membuat bobot lebih kecil dan biasanya lebih cepat, dengan mengorbankan kualitas. Q8_0 mendekati aslinya, Q5_K_M dan Q6_K adalah kompromi umum, Q4_K_M adalah titik awal biasa saat memori terbatas, dan penurunan kualitas mulai terasa di bawah Q3. Tabel menunjukkan apakah tiap tingkat muat dengan pengaturan Anda saat ini.
Semua expert harus dimuat, jadi bobot memakai TOTAL parameter, bukan parameter yang aktif untuk tiap token. Kecepatan generasi, sebaliknya, bergantung pada parameter AKTIF, itulah sebabnya model MoE sering memakai banyak memori tetapi tidak terlalu lambat.
Biasanya tidak. Secara default sistem hanya membiarkan GPU memakai sebagian memori terpadu (kira-kira dua pertiga hingga tiga perempat), jadi memilih “Memori terpadu Apple” menganggap 75% dapat dipakai. Pilih “Porsi yang dapat dipakai kustom” untuk menyesuaikan dengan pengaturan Anda yang sebenarnya.
Bobot dan cache KV diasumsikan terbagi rata ke semua kartu dan tiap kartu menanggung overhead runtime tetapnya sendiri, sehingga totalnya sedikit lebih tinggi daripada satu kartu. Pembagian sebenarnya (paralelisme tensor atau pipeline) dan overhead komunikasi bergantung pada engine, jadi sisakan margin tambahan.
Ini estimasi perencanaan hanya untuk INFERENSI: bobot, cache KV, dan overhead yang dapat disesuaikan. Penggunaan nyata bervariasi menurut engine (vLLM, llama.cpp, dan lainnya), batching, versi CUDA, dan pengaturan paged-KV. Pelatihan dan fine-tuning membutuhkan memori jauh lebih besar (gradien, status optimizer, aktivasi) dan berada di luar alat ini.
Menghasilkan tiap token membaca bobot aktif sekali, jadi pada ukuran batch 1 batasnya kira-kira “bandwidth memori ÷ byte bobot yang dibaca per token”. Ini batas teoretis yang mengabaikan batas komputasi, pembacaan cache KV, dan overhead perangkat lunak, sehingga kecepatan nyata biasanya lebih rendah. Ini hanya muncul setelah Anda memasukkan bandwidth perangkat Anda.
| Kuantisasi | bpw | Bobot | Total | Muat? |
|---|---|---|---|---|
| FP32 | 32 | 29,92 GiB | 34,91 GiB | Tidak |
| FP16 | 16 | 14,96 GiB | 18,45 GiB | Ya |
| Q8_0 | 8.5008 | 7,95 GiB | 10,74 GiB | Ya |
| FP8 | 8 | 7,48 GiB | 10,23 GiB | Ya |
| Q6_K | 6.5633 | 6,14 GiB | 8,75 GiB | Ya |
| Q5_K_M | 5.7036 | 5,33 GiB | 7,87 GiB | Ya |
| Q5_K_S | 5.5704 | 5,21 GiB | 7,73 GiB | Ya |
| Q4_K_M | 4.8944 | 4,58 GiB | 7,03 GiB | Ya |
| Q4_K_S | 4.6672 | 4,36 GiB | 6,80 GiB | Ya |
| Q3_K_L | 4.2979 | 4,02 GiB | 6,42 GiB | Ya |
| Q3_K_M | 3.996 | 3,74 GiB | 6,11 GiB | Ya |
| Q3_K_S | 3.6429 | 3,41 GiB | 5,75 GiB | Ya |
| Q2_K | 3.1593 | 2,95 GiB | 5,25 GiB | Ya |
Spesifikasi model berasal dari file config.json Hugging Face dan metadata safetensors (diverifikasi 2026-10-20); nilai bpw kuantisasi adalah hasil ukur llama.cpp pada Llama-3.1-8B dan sedikit berbeda untuk model lain.
Ini perkiraan perencanaan memori yang dibutuhkan untuk MENJALANKAN (inferensi) model, bukan untuk melatih atau fine-tuning. Penggunaan nyata bervariasi menurut engine (vLLM, llama.cpp, TensorRT-LLM…), batching, dan versi CUDA, jadi sisakan margin.
