Collez un document pour voir le découpage RAG et le coût d’embedding en direct. Rien n’est envoyé.
Comparez les coûts d’API par requête et par mois pour OpenAI, Anthropic et Gemini, avec la date de vérification.
Ouvrir →Estimez la VRAM nécessaire à un LLM et vérifiez s’il tient sur votre GPU.
Ouvrir →Comparez deux textes par ligne, mot ou caractère, en vue côte à côte ou unifiée, en ignorant au besoin espaces et casse.
Ouvrir →Aucun commentaire pour le moment. Soyez le premier !
Le visualiseur de chunks RAG vous permet de coller un document et de voir aussitôt comment différentes stratégies de découpage (taille fixe, récursive, par phrase, titres Markdown) le coupent en chunks : chaque chunk reçoit une teinte alternée, les chevauchements ont leur propre couleur, et des statistiques montrent le nombre de chunks, les tokens moyens et maximaux, la redondance et les chunks qui se terminent au milieu d'une phrase. Ajoutez un modèle d'embedding et un prix pour estimer le coût d'embedding et le stockage en base vectorielle.
Il n'existe pas de nombre universel. Les grands segments fondent plusieurs sujets en un seul vecteur et récupèrent moins précisément ; les très petits dispersent une réponse sur plusieurs morceaux. Un point de départ courant est de segments de quelques centaines de jetons avec environ 10 % de chevauchement ; vérifiez ensuite la récupération avec les questions que vous posez réellement et ajustez à partir de là.
Le chevauchement permet à des segments voisins de partager un peu de texte afin que l'information située sur une frontière ne soit pas coupée. Le prix est que le même texte est vectorisé et stocké deux fois, ce qui augmente directement le coût d'embedding et le stockage vectoriel ; la statistique de « redondance » mesure précisément cela.
La taille fixe est la plus simple et la plus prévisible mais peut couper des phrases. Le découpage récursif essaie tour à tour paragraphes, lignes, phrases et espaces pour rester sur des frontières naturelles et constitue un bon point de départ général. Le découpage par phrases ne coupe jamais au milieu d'une phrase. Le découpage par titres Markdown convient aux documents structurés, garde les blocs de code entiers et enregistre le chemin de titres de chaque segment.
Cet outil utilise une règle approximative (environ 4 caractères ≈ 1 jeton en anglais, environ 1 caractère ≈ 1 jeton en CJK), tandis que chaque modèle d'embedding a son propre tokeniseur ; les nombres réels diffèrent donc. Considérez « jetons (estimés) » comme une unité de mesure relative pour comparer des réglages ; pour des chiffres exacts ou pour vérifier la limite d'entrée d'un modèle, confirmez avec le tokeniseur de ce modèle.
Stockage = segments × dimensions du vecteur × octets par dimension (4 pour float32, 2 pour float16, 1 pour int8, 1/8 pour binaire) × facteur d'index + segments × charge utile par segment. Le facteur d'index représente l'espace supplémentaire qu'un index de recherche approximative comme HNSW demande en plus des vecteurs bruts, couramment d'environ 1,2 à 2 selon les paramètres ; vous pouvez l'ajuster.
Non. Le découpage, les statistiques et la visualisation s'exécutent tous dans votre navigateur, et un fichier .txt ou .md chargé n'est lu que localement. L'outil n'appelle aucune API d'embedding ; le coût d'embedding n'est qu'un calcul à partir du prix que vous saisissez.
Découpe par paragraphes → lignes → phrases → espaces, en restant sur des limites naturelles autant que possible (comme le réglage par défaut des frameworks courants).
Chevauchement 17 %
| N° | Tokens | Car. | Aperçu |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· se termine en milieu de phrase |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· se termine en milieu de phrase |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· se termine en milieu de phrase |
Espace supplémentaire d'un index ANN (p. ex. HNSW) par rapport aux vecteurs bruts ; couramment d'environ 1,2 à 2 selon les paramètres.
Les dimensions d'embedding et les limites d'entrée proviennent de la documentation ou des configurations de modèle de chaque fournisseur (vérifiées le 2026-10-20).
Les tokens sont des estimations (environ 4 caractères = 1 token en anglais, environ 1 caractère = 1 token en CJK) ; utilisez le tokenizer de votre modèle d'embedding pour des chiffres exacts. Tout est traité dans votre navigateur et le texte n'est pas envoyé.
