Ước tính VRAM mà LLM cần và kiểm tra xem có vừa GPU của bạn không.
So sánh chi phí API mỗi yêu cầu và hằng tháng của OpenAI, Anthropic và Gemini, kèm ngày kiểm tra giá.
Mở →Dán tài liệu để xem cách chia RAG và chi phí embedding trực tiếp. Văn bản không được tải lên.
Mở →Chuyển đổi giữa các đơn vị thuộc 12 nhóm như chiều dài, khối lượng, nhiệt độ, diện tích và thể tích.
Mở →Chưa có bình luận nào. Hãy là người đầu tiên!
Máy tính VRAM LLM ước tính lượng bộ nhớ bạn cần để CHẠY một mô hình ngôn ngữ lớn cục bộ hoặc tự lưu trữ. Tổng ≈ trọng số + KV cache + chi phí phụ khi chạy, với trọng số = tham số × bit mỗi trọng số ÷ 8 và KV cache = 2 × số lớp × đầu KV × chiều đầu × byte mỗi phần tử × ngữ cảnh × số chuỗi đồng thời. Chọn mô hình, lượng tử hóa và thiết bị, rồi công cụ cho biết có vừa không, phần dư, ngữ cảnh dài nhất vừa được và mức trần tốc độ sinh.
Tổng ≈ trọng số + bộ đệm KV + chi phí phụ thời gian chạy. Trọng số = số tham số × số bit mỗi trọng số ÷ 8; ví dụ mô hình 8 tỷ tham số cần khoảng 15 GiB ở FP16 (16 bit) và khoảng 4,6 GiB ở Q4_K_M (khoảng 4,9 bit). Bộ đệm KV tăng theo độ dài ngữ cảnh và số chuỗi đồng thời, nên hãy đặt cả hai.
Với mỗi token được xử lý, mô hình lưu Key và Value của từng lớp để không phải tính lại khi sinh văn bản. Kích thước = 2 × số lớp × số đầu KV × chiều của đầu × byte mỗi phần tử × độ dài ngữ cảnh × số chuỗi, nên tỷ lệ thuận với độ dài ngữ cảnh. Mô hình dùng grouped-query attention (ít đầu KV hơn) hoặc cửa sổ trượt cần ít hơn nhiều.
Ít bit hơn làm trọng số nhỏ hơn và thường nhanh hơn, đổi lại chất lượng. Q8_0 gần với bản gốc, Q5_K_M và Q6_K là các thỏa hiệp phổ biến, Q4_K_M là điểm xuất phát thông thường khi bộ nhớ eo hẹp, và mất chất lượng trở nên rõ rệt dưới Q3. Bảng cho thấy mỗi mức có vừa với cài đặt hiện tại của bạn không.
Mọi chuyên gia đều phải được nạp, nên trọng số dùng TỔNG số tham số, không phải số tham số hoạt động cho mỗi token. Tuy nhiên tốc độ sinh phụ thuộc vào số tham số HOẠT ĐỘNG, đó là lý do mô hình MoE thường dùng nhiều bộ nhớ nhưng không đặc biệt chậm.
Thường là không. Theo mặc định hệ thống chỉ cho GPU dùng một phần bộ nhớ hợp nhất (khoảng hai phần ba đến ba phần tư), nên chọn “Bộ nhớ hợp nhất Apple” coi 75% là dùng được. Hãy chọn “Tỷ lệ khả dụng tùy chỉnh” để khớp với cài đặt thực tế của bạn.
Trọng số và bộ đệm KV được giả định chia đều giữa các card và mỗi card chịu chi phí phụ cố định riêng, nên tổng cao hơn một chút so với một card. Cách chia thực tế (song song tensor hoặc pipeline) và chi phí giao tiếp phụ thuộc engine, nên hãy chừa thêm dự phòng.
Đây là ước tính lập kế hoạch chỉ cho SUY LUẬN (INFERENCE): trọng số, bộ đệm KV và chi phí phụ điều chỉnh được. Mức dùng thực tế thay đổi theo engine (vLLM, llama.cpp và các engine khác), batching, phiên bản CUDA và cài đặt paged-KV. Huấn luyện và tinh chỉnh cần nhiều bộ nhớ hơn nhiều (gradient, trạng thái bộ tối ưu, activation) và nằm ngoài công cụ này.
Sinh mỗi token đọc trọng số hoạt động một lần, nên ở kích thước lô 1 trần xấp xỉ “băng thông bộ nhớ ÷ byte trọng số đọc mỗi token”. Đây là giới hạn lý thuyết bỏ qua giới hạn tính toán, việc đọc bộ đệm KV và chi phí phần mềm, nên tốc độ thực thường thấp hơn. Nó chỉ xuất hiện sau khi bạn nhập băng thông của thiết bị.
| Lượng tử hóa | bpw | Trọng số | Tổng | Vừa không? |
|---|---|---|---|---|
| FP32 | 32 | 29,92 GiB | 34,91 GiB | Không |
| FP16 | 16 | 14,96 GiB | 18,45 GiB | Có |
| Q8_0 | 8.5008 | 7,95 GiB | 10,74 GiB | Có |
| FP8 | 8 | 7,48 GiB | 10,23 GiB | Có |
| Q6_K | 6.5633 | 6,14 GiB | 8,75 GiB | Có |
| Q5_K_M | 5.7036 | 5,33 GiB | 7,87 GiB | Có |
| Q5_K_S | 5.5704 | 5,21 GiB | 7,73 GiB | Có |
| Q4_K_M | 4.8944 | 4,58 GiB | 7,03 GiB | Có |
| Q4_K_S | 4.6672 | 4,36 GiB | 6,80 GiB | Có |
| Q3_K_L | 4.2979 | 4,02 GiB | 6,42 GiB | Có |
| Q3_K_M | 3.996 | 3,74 GiB | 6,11 GiB | Có |
| Q3_K_S | 3.6429 | 3,41 GiB | 5,75 GiB | Có |
| Q2_K | 3.1593 | 2,95 GiB | 5,25 GiB | Có |
Thông số mô hình lấy từ tệp config.json của Hugging Face và siêu dữ liệu safetensors (đã kiểm tra 2026-10-20); giá trị bpw của lượng tử hóa là số đo của llama.cpp trên Llama-3.1-8B và hơi khác với các mô hình khác.
Đây là ước tính phục vụ lập kế hoạch về bộ nhớ cần để CHẠY (suy luận) một mô hình, không phải để huấn luyện hay tinh chỉnh. Mức dùng thực tế thay đổi theo engine (vLLM, llama.cpp, TensorRT-LLM…), cách gộp batch và phiên bản CUDA, nên hãy chừa dư địa.
