文書を貼り付けて RAG のチャンク分割と埋め込み費用を確認。テキストは送信されません。
まだコメントはありません。最初のコメントを書いてみましょう！
RAG チャンク分割ビジュアライザーは、文書を貼り付けるだけで、各分割方式（固定サイズ・再帰・文単位・Markdown 見出し）がテキストをどのようにチャンクへ分けるかをその場で確認できます。各チャンクは交互の色で、重なり部分は別の色で表示され、チャンク数・平均と最大のトークン数・重複率・文の途中で終わるチャンク数も集計します。埋め込みモデルと単価を入力すれば、埋め込み費用とベクトルデータベースの保存量も見積もれます。
万能な数値はありません。大きすぎるチャンクは複数の話題が 1 つのベクトルに混ざって検索精度が落ち、小さすぎると答えが複数に分断されます。一般的な出発点は数百トークン程度のチャンクと 1 割前後のオーバーラップで、実際に尋ねる質問で検索結果を確認しながら調整してください。
オーバーラップは隣り合うチャンクが少しだけ同じ内容を共有することで、境界にある情報が切れてしまうのを防ぎます。代償として同じ文章が 2 回埋め込まれて保存されるため、埋め込み費用とベクトル保存量が直接増えます。統計の「重複率」がまさにそれを表しています。
固定サイズは最も単純で予測しやすい反面、文の途中で切れることがあります。再帰的分割は段落・改行・文・空白の順に自然な境目を探すので、汎用的な出発点に向きます。文単位は文の途中では切れません。Markdown 見出しは構造化された文書向きで、コードブロックを分割せず、各チャンクの見出し階層を記録します。
このツールは大まかな規則（英語は約 4 文字＝1 トークン、日中韓は約 1 文字＝1 トークン）で見積もっており、埋め込みモデルごとにトークナイザーが違うため実際の数値とはずれます。「トークン（概算）」は設定同士を比べる相対的な目安として使い、正確な数値やモデルの入力上限の確認には、そのモデルのトークナイザーで改めて確認してください。
保存量＝チャンク数×ベクトル次元×1 次元あたりのバイト数（float32 は 4、float16 は 2、int8 は 1、バイナリは 1/8）×インデックス係数＋チャンク数×チャンクごとの付随データ です。インデックス係数は HNSW などの近似検索インデックスが生ベクトルに加えて必要とする容量を表し、パラメータにより 1.2〜2 程度が一般的です。自分で調整できます。
いいえ。分割・統計・可視化はすべてブラウザ内で実行され、読み込んだ .txt／.md ファイルもローカルで読み取るだけです。埋め込み API は一切呼び出さず、埋め込み費用は入力した単価からの試算にすぎません。
段落→改行→文→空白の順に区切り、できるだけ自然な境目で分割します（一般的なフレームワークの既定に近い方式）。
オーバーラップ 17%
| # | トークン | 文字数 | プレビュー |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· 文の途中で終了 |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· 文の途中で終了 |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· 文の途中で終了 |
ANN インデックス（HNSW など）が生ベクトルに対して追加で使う容量。パラメータにより 1.2〜2 程度が一般的です。
埋め込みモデルの次元数と入力上限は各社のドキュメントやモデル設定に基づきます（2026-10-20 確認）。
トークン数は概算です（英語は約 4 文字＝1 トークン、日中韓は約 1 文字＝1 トークン）。正確な値は使用する埋め込みモデルのトークナイザーで確認してください。処理はすべてブラウザ内で行われ、テキストは送信されません。
