Dán tài liệu để xem cách chia RAG và chi phí embedding trực tiếp. Văn bản không được tải lên.
So sánh chi phí API mỗi yêu cầu và hằng tháng của OpenAI, Anthropic và Gemini, kèm ngày kiểm tra giá.
Mở →Ước tính VRAM mà LLM cần và kiểm tra xem có vừa GPU của bạn không.
Mở →So sánh hai văn bản theo dòng, từ hoặc ký tự, xem song song hoặc gộp, có tùy chọn bỏ qua khoảng trắng/chữ hoa thường.
Mở →Chưa có bình luận nào. Hãy là người đầu tiên!
Trình trực quan hóa chunk RAG cho phép bạn dán tài liệu và thấy ngay các chiến lược chia (kích thước cố định, đệ quy, theo câu, tiêu đề Markdown) cắt nó thành các chunk ra sao: mỗi chunk có sắc độ xen kẽ, phần chồng lấn có màu riêng, và thống kê cho biết số chunk, token trung bình và lớn nhất, độ dư thừa và các chunk kết thúc giữa câu. Thêm mô hình embedding và giá để ước tính chi phí embedding và dung lượng lưu trong cơ sở dữ liệu vector.
Không có con số phổ quát. Chunk lớn làm nhòe nhiều chủ đề vào một vector và truy xuất kém chính xác; chunk quá nhỏ làm một câu trả lời bị rải ra nhiều mảnh. Điểm xuất phát phổ biến là các chunk vài trăm token với độ chồng khoảng 10%; sau đó kiểm tra việc truy xuất với những câu hỏi bạn thực sự đặt rồi chỉnh từ đó.
Độ chồng cho phép các chunk kề nhau chia sẻ một chút văn bản để thông tin nằm ở ranh giới không bị cắt. Cái giá là cùng một văn bản được nhúng và lưu hai lần, làm tăng trực tiếp chi phí embedding và dung lượng lưu vector; thống kê “dư thừa” đo đúng điều đó.
Kích thước cố định đơn giản và dễ đoán nhất nhưng có thể cắt câu. Tách đệ quy lần lượt thử đoạn, dòng, câu và dấu cách để bám ranh giới tự nhiên và là điểm xuất phát chung tốt. Tách theo câu không bao giờ cắt giữa câu. Tách theo tiêu đề Markdown phù hợp tài liệu có cấu trúc, giữ nguyên khối mã và ghi lại đường dẫn tiêu đề của từng chunk.
Công cụ này dùng quy tắc gần đúng (khoảng 4 ký tự ≈ 1 token với tiếng Anh, khoảng 1 ký tự ≈ 1 token với CJK), trong khi mỗi mô hình embedding có bộ tách token riêng, nên số thực khác nhau. Hãy coi “token (ước tính)” là thước đo tương đối để so sánh các cài đặt; để có số chính xác hoặc kiểm tra giới hạn đầu vào của một mô hình, hãy xác nhận bằng bộ tách token của mô hình đó.
Dung lượng = số chunk × số chiều vector × byte mỗi chiều (4 cho float32, 2 cho float16, 1 cho int8, 1/8 cho nhị phân) × hệ số chỉ mục + số chunk × tải trọng mỗi chunk. Hệ số chỉ mục đại diện cho không gian phụ mà chỉ mục tìm kiếm xấp xỉ như HNSW cần thêm ngoài các vector thô, thường khoảng 1,2 đến 2 tùy tham số; bạn có thể điều chỉnh.
Không. Việc tách, thống kê và trực quan hóa đều chạy trong trình duyệt của bạn, và tệp .txt hay .md đã nạp chỉ được đọc cục bộ. Công cụ không gọi API embedding nào; chi phí embedding chỉ là phép tính từ giá bạn nhập.
Chia theo đoạn → dòng → câu → khoảng trắng, cố giữ ranh giới tự nhiên khi có thể (như mặc định của các framework phổ biến).
Chồng lấn 17%
| STT | Token | Ký tự | Xem trước |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· kết thúc giữa câu |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· kết thúc giữa câu |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· kết thúc giữa câu |
Dung lượng thêm của chỉ mục ANN (vd. HNSW) so với vector thô; thường khoảng 1,2–2 tùy tham số.
Số chiều embedding và giới hạn đầu vào lấy từ tài liệu hoặc cấu hình mô hình của từng nhà cung cấp (đã kiểm tra 2026-10-20).
Token là số ước tính (khoảng 4 ký tự = 1 token với tiếng Anh, khoảng 1 ký tự = 1 token với CJK); hãy dùng tokenizer của mô hình embedding để có số chính xác. Mọi thứ được xử lý trong trình duyệt và văn bản không được tải lên.
