Dokument einfügen und RAG-Chunking samt Embedding-Kosten live sehen. Ihr Text wird nicht hochgeladen.
API-Kosten von OpenAI, Anthropic und Gemini pro Anfrage und Monat vergleichen – mit Prüfdatum der Preise.
Öffnen →VRAM-Bedarf eines LLM schätzen und prüfen, ob es auf Ihre GPU passt.
Öffnen →Vergleicht zwei Texte zeilen-, wort- oder zeichenweise, mit Nebeneinander- oder vereinheitlichter Ansicht sowie Optionen zum Ignorieren von Leerraum und Groß-/Kleinschreibung
Öffnen →Noch keine Kommentare. Schreiben Sie den ersten!
Der RAG-Chunking-Visualisierer zeigt nach dem Einfügen eines Dokuments sofort, wie verschiedene Strategien (feste Größe, rekursiv, nach Sätzen, Markdown-Überschriften) den Text in Chunks teilen: Jeder Chunk erhält eine wechselnde Färbung, Überlappungen eine eigene Farbe, und die Statistik nennt Chunk-Anzahl, durchschnittliche und größte Tokens, Redundanz und Chunks, die mitten im Satz enden. Mit Embedding-Modell und Preis schätzen Sie zudem Embedding-Kosten und Speicher der Vektordatenbank.
Es gibt keine universelle Zahl. Große Chunks vermischen mehrere Themen in einem Vektor und rufen ungenauer ab; sehr kleine zerstreuen eine Antwort auf mehrere Stücke. Ein üblicher Ausgangspunkt sind Chunks von einigen hundert Tokens mit rund 10 % Überlappung; prüfen Sie dann die Treffer mit Ihren echten Fragen und justieren Sie nach.
Die Überlappung lässt benachbarte Chunks etwas Text teilen, damit Informationen an einer Grenze nicht abgeschnitten werden. Der Preis: Derselbe Text wird zweimal eingebettet und gespeichert, was Embedding-Kosten und Vektorspeicher direkt erhöht; die Kennzahl „Redundanz“ misst genau das.
Feste Größe ist am einfachsten und vorhersehbar, kann aber Sätze zerschneiden. Rekursives Teilen probiert nacheinander Absätze, Zeilen, Sätze und Leerzeichen und bleibt so an natürlichen Grenzen – ein guter allgemeiner Start. Satzweises Teilen bricht nie mitten im Satz. Die Markdown-Überschriften-Strategie passt zu strukturierten Dokumenten, hält Code-Blöcke zusammen und merkt sich den Überschriftenpfad jedes Chunks.
Dieses Tool nutzt eine grobe Regel (ca. 4 Zeichen ≈ 1 Token bei Englisch, ca. 1 Zeichen ≈ 1 Token bei CJK), während jedes Embedding-Modell seinen eigenen Tokenizer hat; die realen Zahlen weichen daher ab. Verstehen Sie „Tokens (geschätzt)“ als relativen Maßstab zum Vergleich von Einstellungen; für exakte Werte oder zur Prüfung des Eingabelimits nutzen Sie den Tokenizer des Modells.
Speicher = Chunks × Vektordimensionen × Bytes pro Dimension (4 bei float32, 2 bei float16, 1 bei int8, 1/8 bei binär) × Indexfaktor + Chunks × Nutzdaten pro Chunk. Der Indexfaktor steht für den zusätzlichen Platz eines Näherungssuch-Index wie HNSW über den Rohvektoren hinaus, je nach Parametern oft etwa 1,2 bis 2; Sie können ihn anpassen.
Nein. Aufteilung, Statistik und Visualisierung laufen vollständig in Ihrem Browser, und eine geladene .txt- oder .md-Datei wird nur lokal gelesen. Das Tool ruft keine Embedding-API auf; die Embedding-Kosten sind lediglich eine Rechnung mit dem von Ihnen eingegebenen Preis.
Teilt nach Absätzen → Zeilen → Sätzen → Leerzeichen und bleibt möglichst an natürlichen Grenzen (wie der Standard gängiger Frameworks).
Überlappung 17 %
| Nr. | Tokens | Zeichen | Vorschau |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· endet mitten im Satz |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· endet mitten im Satz |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· endet mitten im Satz |
Zusätzlicher Platz eines ANN-Index (z. B. HNSW) gegenüber den Rohvektoren; je nach Parametern oft etwa 1,2–2.
Dimensionen und Eingabelimits der Embedding-Modelle stammen aus den Dokumentationen bzw. Modellkonfigurationen der Anbieter (geprüft am 2026-10-20).
Tokens sind Schätzwerte (ca. 4 Zeichen = 1 Token bei Englisch, ca. 1 Zeichen = 1 Token bei CJK); exakte Werte liefert der Tokenizer Ihres Embedding-Modells. Alles wird in Ihrem Browser verarbeitet, der Text wird nicht hochgeladen.
