Sample — a 10,000-token document (~40 pages) at these settings: 23 chunks · 11,408 tokens embedded (1,408 overlap overhead) 23 vectors · $0.000228 with text-embedding-3-small
Prices flow from the shared model table (USD per 1M input tokens). All math runs 100% client-side.
O que faz
O Planejador de Chunks de Embedding calcula como um documento se divide em chunks com sobreposição antes de você enviá-lo a um pipeline de geração aumentada por recuperação (RAG). Dê a ele uma contagem de tokens, um tamanho de chunk e uma sobreposição, e ele computa o número de chunks, o total de tokens efetivamente embutidos (a sobreposição embute de novo tokens a cada emenda), o overhead que isso adiciona e o custo em dólares para o modelo de embedding e as dimensões que você escolher. Os preços vêm da tabela compartilhada de modelos — OpenAI, Cohere e Voyage AI — então a estimativa corresponde à cobrança real por milhão de tokens.
Ele responde às perguntas que surgem toda vez que um índice RAG é dimensionado: “Quantos vetores este corpus vai produzir?” e “Quanto a sobreposição realmente me custa?”
Como usar
- Digite a contagem de tokens do seu documento (um tokenizer ou uma estimativa de
tokens ≈ chars / 4funcionam). - Defina Chunk size e Overlap em tokens — os padrões 512/64 são um ponto de partida comum.
- Escolha um Embedding model no menu suspenso, depois suas Dimensions (apenas os tamanhos que o modelo oferece são listados).
- Leia o plano: chunks, total de tokens com sobreposição, overhead da sobreposição, contagem de vetores e custo.
- Use Copy no plano, ou compartilhe a URL — cada entrada é codificada no link.
Exemplos
Um documento de 1.000 tokens nos padrões 512/64, text-embedding-3-small @ 1536 dims
Chunks: 3
Tokens embedded: 1,128 (incl. overlap)
Overlap overhead: 128
Vectors: 3
Cost: $0.000023O mesmo documento, sobreposição elevada para 600
A sobreposição é limitada a 256 (metade do tamanho do chunk), então o plano passa a ser:
Chunks: 3
Tokens embedded: 1,512 (incl. overlap)
Overlap overhead: 512
Cost: $0.000030Trocando para text-embedding-3-large @ 3072 dims
Os mesmos 1.128 tokens embutidos, a $0.13 por milhão: 1128 / 1e6 * 0.13 = $0.000147.
Bom saber
- Limite da sobreposição (clamp): a sobreposição nunca excede metade do tamanho do chunk (
floor(chunkSize / 2)). Uma sobreposição tão grande faria os chunks consecutivos parar de avançar, então o planejador a limita — chunks de 512 tokens limitam a sobreposição a 256, não importa o que você digite. Sobreposição negativa é tratada como 0. - Por que a sobreposição custa dinheiro: cada fronteira de chunk embute de novo
overlaptokens no próximo chunk. Um plano de 3 chunks com sobreposição 64 embute 128 tokens extras — pouco por documento, significativo num corpus grande. - Compartilhável: todas as entradas vivem na URL (
?t=...&cs=...&ov=...&m=...&d=...), então um link reproduz o plano exato. - Privado: roda 100% no cliente — nenhum texto de documento ou contagem é enviado a lugar algum.
- Ferramentas relacionadas: Token Generator, Regex Explainer, JSON Formatter.