Tempel dokumen untuk melihat pemecahan RAG dan perkiraan biaya embedding langsung. Teks tidak diunggah.
Bandingkan biaya API per permintaan dan bulanan di OpenAI, Anthropic, dan Gemini, dengan tanggal verifikasi harga.
Buka →Perkirakan VRAM yang dibutuhkan LLM dan periksa apakah muat di GPU Anda.
Buka →Bandingkan dua teks per baris, kata, atau karakter, dengan tampilan berdampingan atau gabungan, dan opsi mengabaikan spasi/huruf besar-kecil.
Buka →Belum ada komentar. Jadilah yang pertama!
RAG Chunk Visualizer memungkinkan Anda menempel dokumen dan langsung melihat bagaimana berbagai strategi pemecahan (ukuran tetap, rekursif, per kalimat, judul Markdown) memotongnya menjadi chunk: setiap chunk mendapat rona bergantian, tumpang-tindih diberi warna tersendiri, dan statistik menampilkan jumlah chunk, token rata-rata dan terbesar, redundansi, serta chunk yang berakhir di tengah kalimat. Tambahkan model embedding dan harga untuk memperkirakan biaya embedding dan penyimpanan di database vektor.
Tidak ada angka universal. Chunk besar mengaburkan beberapa topik menjadi satu vektor dan mengambil kurang presisi; chunk sangat kecil menyebarkan satu jawaban ke beberapa potongan. Titik awal umum adalah chunk beberapa ratus token dengan tumpang tindih sekitar 10%; lalu periksa pengambilan dengan pertanyaan yang benar-benar Anda ajukan dan sesuaikan dari sana.
Overlap memungkinkan chunk bertetangga berbagi sedikit teks agar informasi di perbatasan tidak terpotong. Harganya adalah teks yang sama di-embed dan disimpan dua kali, yang langsung menaikkan biaya embedding dan penyimpanan vektor; statistik “redundansi” mengukur persis itu.
Ukuran tetap paling sederhana dan mudah diprediksi tetapi dapat memotong kalimat. Pemecahan rekursif mencoba paragraf, baris, kalimat, dan spasi secara berurutan agar tetap di batas alami dan menjadi titik awal umum yang baik. Pemecahan kalimat tidak pernah memotong di tengah kalimat. Pemecahan berdasarkan heading Markdown cocok untuk dokumen terstruktur, menjaga blok kode tetap utuh, dan mencatat jalur heading tiap chunk.
Alat ini memakai aturan kasar (sekitar 4 karakter ≈ 1 token dalam bahasa Inggris, sekitar 1 karakter ≈ 1 token dalam CJK), sedangkan setiap model embedding punya tokenizer sendiri, sehingga angka sebenarnya berbeda. Anggap “token (perkiraan)” sebagai penggaris relatif untuk membandingkan pengaturan; untuk angka pasti atau memeriksa batas masukan sebuah model, konfirmasikan dengan tokenizer model itu.
Penyimpanan = chunk × dimensi vektor × byte per dimensi (4 untuk float32, 2 untuk float16, 1 untuk int8, 1/8 untuk biner) × faktor indeks + chunk × payload per chunk. Faktor indeks mewakili ruang tambahan yang dibutuhkan indeks pencarian aproksimasi seperti HNSW di atas vektor mentah, umumnya sekitar 1,2 hingga 2 tergantung parameter; Anda dapat menyesuaikannya.
Tidak. Pemecahan, statistik, dan visualisasi semuanya berjalan di browser Anda, dan file .txt atau .md yang dimuat hanya dibaca secara lokal. Alat ini tidak memanggil API embedding apa pun; biaya embedding hanyalah perhitungan dari harga yang Anda masukkan.
Memecah per paragraf → baris → kalimat → spasi, tetap pada batas alami sebisa mungkin (seperti bawaan framework populer).
Tumpang tindih 17%
| No. | Token | Kar. | Pratinjau |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· berakhir di tengah kalimat |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· berakhir di tengah kalimat |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· berakhir di tengah kalimat |
Ruang tambahan indeks ANN (mis. HNSW) dibanding vektor mentah; umumnya sekitar 1,2–2 tergantung parameter.
Dimensi embedding dan batas input berasal dari dokumentasi atau konfigurasi model tiap vendor (diverifikasi 2026-10-20).
Token adalah perkiraan (sekitar 4 karakter = 1 token untuk bahasa Inggris, sekitar 1 karakter = 1 token untuk CJK); gunakan tokenizer model embedding Anda untuk angka yang tepat. Semuanya diproses di browser Anda dan teks tidak diunggah.
