貼上文件,即時查看 RAG 切分結果與嵌入費用估算;文字不會上傳。
還沒有留言,搶先留下你的想法!
RAG 文字切分視覺化工具讓你貼上文件,立刻看到不同切分策略(固定大小、遞迴、依句子、Markdown 標題)如何把文字分成區塊:每個區塊以交替底色標出,重疊的部分用另一種顏色標示,並統計區塊數、平均與最大 Token、重複率與在句中斷開的區塊數。再輸入嵌入模型與單價,就能估算嵌入費用與向量資料庫的儲存量。
沒有放諸四海皆準的數字。太大的區塊會把多個主題混在同一個向量裡、檢索不精準;太小的區塊又會把答案拆散。常見的起點是幾百個 Token 的區塊搭配一成左右的重疊,再用你真正會問的問題檢查檢索結果,回頭調整。
重疊讓相鄰區塊共用一小段內容,避免剛好落在邊界的資訊被切斷。代價是同樣的文字會被嵌入並儲存兩次,直接增加嵌入費用與向量儲存量,統計中的「重複率」就是在量這件事。
固定大小最簡單、可預測,但可能切斷句子;遞迴切分依段落、換行、句子、空白的順序盡量在自然邊界分段,是通用的好起點;依句子切分保證不在句中斷開;Markdown 標題切分適合有結構的文件,會保留程式碼區塊並記錄每塊所屬的標題路徑。
本工具用粗略規則估算(英文約 4 字元 ≈ 1 Token、中日韓約 1 字 ≈ 1 Token),每個嵌入模型的 tokenizer 都不同,實際數字會有出入。把「Token(估算)」當作比較不同設定的相對基準;要精確數字或判斷是否超過模型上限時,請用該模型的 tokenizer 再確認。
儲存量 = 區塊數 × 向量維度 × 每維位元組(float32 為 4、float16 為 2、int8 為 1、二元為 1/8)× 索引倍率 + 區塊數 × 每塊附帶資料。索引倍率代表 HNSW 等近似搜尋索引相對於原始向量的額外空間,常見約 1.2 至 2,視參數而定,可自行調整。
不會。切分、統計與視覺化全部在你的瀏覽器內執行;載入的 .txt/.md 檔案也只在本機讀取。工具不會呼叫任何嵌入 API,嵌入費用只是依你填的單價所做的試算。
依段落→換行→句子→空白的順序切,盡量在自然邊界分段(類似常見框架的預設做法)。
重疊比例 17%
| # | Token | 字元 | 內容預覽 |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· 句中結束 |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· 句中結束 |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊,再把區塊轉成向量。區塊太大會混入多個主題;區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· 句中結束 |
ANN 索引(如 HNSW)相對於原始向量的額外空間,常見約 1.2–2,視參數而定。
嵌入模型的維度與輸入上限取自各家文件或模型設定(核對於 2026-10-20)。
Token 為估算值(英文約 4 字元 = 1 Token,中日韓約 1 字 = 1 Token),實際請以所用嵌入模型的 tokenizer 為準。所有處理都在你的瀏覽器內完成,文字不會上傳。