Cole um documento para ver o fatiamento RAG e o custo de embedding ao vivo. Nada é enviado.
Compare o custo de API por requisição e por mês em OpenAI, Anthropic e Gemini, com a data de verificação.
Abrir →Estime a VRAM que um LLM precisa e veja se ele cabe na sua GPU.
Abrir →Compare dois textos por linha, palavra ou caractere, em visão lado a lado ou unificada, ignorando espaços ou maiúsculas se quiser.
Abrir →Ainda não há comentários. Seja o primeiro!
O visualizador de chunks RAG permite colar um documento e ver na hora como diferentes estratégias de divisão (tamanho fixo, recursiva, por frase, títulos Markdown) o cortam em chunks: cada chunk recebe uma tonalidade alternada, as sobreposições têm cor própria e as estatísticas mostram a quantidade de chunks, os tokens médios e máximos, a redundância e os chunks que terminam no meio de uma frase. Adicione um modelo de embedding e um preço para estimar o custo de embedding e o armazenamento no banco de dados vetorial.
Não existe um número universal. Trechos grandes misturam vários assuntos em um único vetor e recuperam com menos precisão; trechos minúsculos espalham uma resposta por vários pedaços. Um ponto de partida comum são trechos de algumas centenas de tokens com cerca de 10% de sobreposição; depois verifique a recuperação com as perguntas que você realmente faz e ajuste a partir daí.
A sobreposição permite que trechos vizinhos compartilhem um pouco de texto para que a informação na fronteira não seja cortada. O preço é que o mesmo texto é vetorizado e armazenado duas vezes, o que aumenta diretamente o custo de embeddings e o armazenamento vetorial; a estatística de “redundância” mede exatamente isso.
Tamanho fixo é o mais simples e previsível, mas pode cortar frases. A divisão recursiva tenta parágrafos, linhas, frases e espaços, nessa ordem, para ficar em fronteiras naturais e é um bom ponto de partida geral. A divisão por frases nunca corta no meio de uma frase. A divisão por títulos Markdown serve para documentos estruturados, mantém os blocos de código inteiros e registra o caminho de títulos de cada trecho.
Esta ferramenta usa uma regra aproximada (cerca de 4 caracteres ≈ 1 token em inglês, cerca de 1 caractere ≈ 1 token em CJK), enquanto cada modelo de embeddings tem seu próprio tokenizador, então os números reais diferem. Trate “tokens (estimados)” como uma régua relativa para comparar configurações; para números exatos ou para conferir o limite de entrada de um modelo, confirme com o tokenizador desse modelo.
Armazenamento = trechos × dimensões do vetor × bytes por dimensão (4 para float32, 2 para float16, 1 para int8, 1/8 para binário) × fator de índice + trechos × carga útil por trecho. O fator de índice representa o espaço extra que um índice de busca aproximada como o HNSW precisa além dos vetores brutos, em geral de cerca de 1,2 a 2 conforme os parâmetros; você pode ajustá-lo.
Não. A divisão, as estatísticas e a visualização rodam no seu navegador, e um arquivo .txt ou .md carregado é lido apenas localmente. A ferramenta não chama nenhuma API de embeddings; o custo de embeddings é apenas um cálculo a partir do preço que você informa.
Divide por parágrafos → linhas → frases → espaços, ficando em limites naturais sempre que possível (como o padrão dos frameworks populares).
Sobreposição de 17%
| Nº | Tokens | Car. | Prévia |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· termina no meio de uma frase |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· termina no meio de uma frase |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· termina no meio de uma frase |
Espaço extra de um índice ANN (ex.: HNSW) em relação aos vetores brutos; costuma ficar em torno de 1,2–2 conforme os parâmetros.
As dimensões dos embeddings e os limites de entrada vêm da documentação ou das configurações de modelo de cada fornecedor (verificadas em 2026-10-20).
Os tokens são estimativas (cerca de 4 caracteres = 1 token em inglês, cerca de 1 caractere = 1 token em CJK); use o tokenizador do seu modelo de embeddings para números exatos. Tudo é processado no seu navegador e o texto não é enviado.
