문서를 붙여넣어 RAG 청크 분할과 임베딩 비용을 실시간으로 보세요. 텍스트는 업로드되지 않습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요!
RAG 청크 시각화 도구는 문서를 붙여넣으면 여러 분할 전략(고정 크기, 재귀, 문장별, Markdown 제목)이 이를 어떻게 청크로 나누는지 즉시 보여 줍니다. 각 청크는 번갈아 가며 색조가 입혀지고, 겹침은 별도 색으로 표시되며, 통계에는 청크 수, 평균·최대 토큰, 중복률, 문장 중간에서 끝나는 청크 수가 나옵니다. 임베딩 모델과 가격을 추가하면 임베딩 비용과 벡터 데이터베이스 저장 용량을 추정합니다.
보편적인 값은 없습니다. 청크가 크면 여러 주제가 하나의 벡터로 뭉개져 검색이 덜 정밀해지고, 너무 작으면 답이 여러 조각에 흩어집니다. 흔한 출발점은 수백 토큰 크기의 청크에 약 10% 겹침입니다. 그런 다음 실제로 던지는 질문으로 검색 결과를 확인하며 조정하세요.
겹침은 이웃한 청크가 텍스트를 조금 공유하여 경계에 놓인 정보가 잘리지 않게 합니다. 대가는 같은 텍스트가 두 번 임베딩·저장되어 임베딩 비용과 벡터 저장 공간이 직접 늘어나는 것이며, “중복률” 통계가 바로 그것을 측정합니다.
고정 크기는 가장 단순하고 예측 가능하지만 문장을 자를 수 있습니다. 재귀 분할은 문단, 줄, 문장, 공백 순으로 시도하여 자연스러운 경계에 머물며 범용 출발점으로 좋습니다. 문장 분할은 문장 중간을 자르지 않습니다. Markdown 제목 분할은 구조화된 문서에 맞고 코드 블록을 온전히 유지하며 각 청크의 제목 경로를 기록합니다.
이 도구는 대략적인 규칙(영어는 약 4자 ≈ 1토큰, CJK는 약 1자 ≈ 1토큰)을 쓰고, 임베딩 모델마다 자체 토크나이저가 있어 실제 수치는 다릅니다. “토큰(추정)”은 설정을 비교하는 상대적 잣대로 보시고, 정확한 수치나 모델의 입력 한도 확인은 해당 모델의 토크나이저로 확인하세요.
저장 용량 = 청크 수 × 벡터 차원 × 차원당 바이트(float32는 4, float16은 2, int8은 1, 이진은 1/8) × 인덱스 계수 + 청크 수 × 청크당 페이로드입니다. 인덱스 계수는 HNSW 같은 근사 검색 인덱스가 원본 벡터 외에 추가로 필요로 하는 공간을 뜻하며, 매개변수에 따라 보통 약 1.2~2이고 조정할 수 있습니다.
아니요. 분할, 통계, 시각화가 모두 브라우저에서 실행되며 불러온 .txt나 .md 파일도 로컬에서만 읽습니다. 도구는 임베딩 API를 호출하지 않으며, 임베딩 비용은 입력한 가격으로 계산한 값일 뿐입니다.
문단 → 줄 → 문장 → 공백 순으로 나누며 가능하면 자연스러운 경계를 지킵니다(널리 쓰이는 프레임워크의 기본 방식과 비슷).
겹침 17%
| 번호 | 토큰 | 글자 | 미리보기 |
|---|---|---|---|
| 1 | 68 | 269 | # Retrieval-augmented generation Retrieval-augmented generation (RAG) combines a search step with a language model. Documents are split into chunks, each chunk· 문장 중간에서 끝남 |
| 2 | 84 | 309 | ## Why chunking matters If chunks are too large, a single vector blurs several topics together. If they are too small, the answer may be spread across chunks t· 문장 중간에서 끝남 |
| 3 | 112 | 171 | ## 中文與日本語の例 檢索增強生成會先把長文件切成較小的區塊，再把區塊轉成向量。區塊太大會混入多個主題；區塊太小又可能把答案拆散。検索拡張生成では、文書を適切な大きさに分割することが重要です。 ```python chunks = splitter.split_text(document) print(len(c· 문장 중간에서 끝남 |
원본 벡터 대비 ANN 인덱스(예: HNSW)가 차지하는 추가 공간으로, 매개변수에 따라 보통 1.2~2배입니다.
임베딩 차원과 입력 한도는 각 업체의 문서나 모델 설정을 따랐습니다(2026-10-20 확인).
토큰 수는 추정치입니다(영어는 약 4자 = 1토큰, CJK는 약 1자 = 1토큰). 정확한 값은 사용하는 임베딩 모델의 토크나이저로 확인하세요. 모든 처리는 브라우저 안에서 이루어지며 텍스트는 업로드되지 않습니다.
