Pega un documento y mira el troceado RAG y el coste de embeddings en vivo. Nada se sube.
Compara el coste de API por solicitud y mensual en OpenAI, Anthropic y Gemini, con la fecha de verificación.
Abrir →Estima la VRAM que necesita un LLM y comprueba si cabe en tu GPU.
Abrir →Compara dos textos por línea, palabra o carácter, en vista lado a lado o unificada, ignorando espacios o mayúsculas si quieres.
Abrir →Aún no hay comentarios. ¡Sé el primero!
El visualizador de chunks RAG te permite pegar un documento y ver al instante cómo distintas estrategias de división (tamaño fijo, recursiva, por frases, encabezados Markdown) lo cortan en chunks: cada chunk recibe un tinte alterno, los solapamientos tienen su propio color y las estadísticas muestran el número de chunks, los tokens medios y máximos, la redundancia y los chunks que terminan a mitad de frase. Añade un modelo de embeddings y un precio para estimar el coste de embeddings y el almacenamiento en la base de datos vectorial.
No hay un número universal. Los fragmentos grandes mezclan varios temas en un solo vector y recuperan con menos precisión; los fragmentos diminutos dispersan una respuesta en varias piezas. Un punto de partida habitual son fragmentos de unos cientos de tokens con un solapamiento de aproximadamente el 10 %; después comprueba la recuperación con las preguntas que realmente haces y ajusta desde ahí.
El solapamiento permite que fragmentos vecinos compartan un poco de texto para que la información situada en un límite no se corte. El precio es que el mismo texto se vectoriza y almacena dos veces, lo que aumenta directamente el coste de embeddings y el almacenamiento vectorial; la estadística de «redundancia» mide justo eso.
El tamaño fijo es lo más simple y predecible, pero puede cortar frases. La división recursiva prueba por turnos párrafos, líneas, frases y espacios para mantenerse en límites naturales y es un buen punto de partida general. La división por frases nunca corta a mitad de frase. La división por encabezados Markdown sirve para documentos estructurados, mantiene enteros los bloques de código y registra la ruta de encabezados de cada fragmento.
Esta herramienta usa una regla aproximada (unos 4 caracteres ≈ 1 token en inglés, unos 1 carácter ≈ 1 token en CJK), mientras que cada modelo de embeddings tiene su propio tokenizador, así que las cifras reales difieren. Trata «tokens (estimados)» como una vara de medir relativa para comparar ajustes; para cifras exactas o para comprobar el límite de entrada de un modelo, confírmalo con el tokenizador de ese modelo.
Almacenamiento = fragmentos × dimensiones del vector × bytes por dimensión (4 para float32, 2 para float16, 1 para int8, 1/8 para binario) × factor de índice + fragmentos × carga útil por fragmento. El factor de índice representa el espacio extra que necesita un índice de búsqueda aproximada como HNSW además de los vectores sin procesar, normalmente de 1,2 a 2 según los parámetros; puedes ajustarlo.
No. La división, las estadísticas y la visualización se ejecutan en tu navegador, y un archivo .txt o .md cargado solo se lee localmente. La herramienta no llama a ninguna API de embeddings; el coste de embeddings es solo un cálculo a partir del precio que introduces.
Divide por párrafos → líneas → frases → espacios, manteniéndose en límites naturales cuando puede (como el valor predeterminado de los frameworks populares).
Solapamiento 17 %
| N.º | Tokens | Car. | Vista previa |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· termina a mitad de frase |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· termina a mitad de frase |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· termina a mitad de frase |
Espacio extra de un índice ANN (p. ej. HNSW) respecto a los vectores en bruto; suele rondar 1,2–2 según los parámetros.
Las dimensiones de los embeddings y los límites de entrada proceden de la documentación o de las configuraciones de modelo de cada proveedor (verificadas el 2026-10-20).
Los tokens son estimaciones (unos 4 caracteres = 1 token en inglés, aproximadamente 1 carácter = 1 token en CJK); usa el tokenizador de tu modelo de embeddings para cifras exactas. Todo se procesa en tu navegador y el texto no se sube.
