Sample — a 10,000-token document (~40 pages) at these settings: 23 chunks · 11,408 tokens embedded (1,408 overlap overhead) 23 vectors · $0.000228 with text-embedding-3-small
Prices flow from the shared model table (USD per 1M input tokens). All math runs 100% client-side.
Qué hace
El Embedding Chunk Planner calcula cómo se divide un documento en fragmentos solapados antes de enviarlo a un pipeline de generación aumentada por recuperación (RAG). Dale un recuento de tokens, un tamaño de fragmento y un solapamiento, y computa el número de fragmentos, los tokens totales realmente embebidos (el solapamiento re-embebe tokens en cada costura), el sobrecoste que eso añade y el coste en dólares para el modelo de embeddings y las dimensiones que elijas. Los precios provienen de la tabla de modelos compartida — OpenAI, Cohere y Voyage AI — así que la estimación coincide con la facturación real por millón de tokens.
Responde las preguntas que surgen cada vez que se dimensiona un índice RAG: “¿Cuántos vectores producirá este corpus?” y “¿Qué me cuesta realmente el solapamiento?”
Cómo usarlo
- Introduce el recuento de tokens de tu documento (sirve un tokenizador o una estimación
tokens ≈ chars / 4). - Ajusta el tamaño de fragmento y el solapamiento en tokens - los valores por defecto 512/64 son un punto de partida habitual.
- Elige un modelo de embedding del desplegable y luego sus dimensiones (solo se listan los tamaños que ofrece el modelo).
- Lee el plan: fragmentos, tokens totales con solapamiento, sobrecoste del solapamiento, recuento de vectores y coste.
- Copiar el plan, o comparte la URL - cada entrada queda codificada en el enlace.
Ejemplos
Un documento de 1,000 tokens con los valores por defecto 512/64, text-embedding-3-small @ 1536 dims
Chunks: 3
Tokens embedded: 1,128 (incl. overlap)
Overlap overhead: 128
Vectors: 3
Cost: $0.000023El mismo documento, solapamiento subido a 600
El solapamiento se limita a 256 (la mitad del tamaño del fragmento), así que el plan pasa a ser:
Chunks: 3
Tokens embedded: 1,512 (incl. overlap)
Overlap overhead: 512
Cost: $0.000030Cambiar a text-embedding-3-large @ 3072 dims
Los mismos 1,128 tokens embebidos, a $0.13 por millón: 1128 / 1e6 * 0.13 = $0.000147.
Buen saber
- Límite del solapamiento: el solapamiento nunca supera la mitad del tamaño del fragmento (
floor(chunkSize / 2)). Un solapamiento así de grande haría que los fragmentos consecutivos dejaran de avanzar, así que el planificador lo limita — los fragmentos de 512 tokens limitan el solapamiento a 256 sin importar lo que introduzcas. El solapamiento negativo se trata como 0. - Por qué el solapamiento cuesta dinero: cada frontera de fragmento re-embebe
overlaptokens en el fragmento siguiente. Un plan de 3 fragmentos con solapamiento 64 embebe 128 tokens extra — poco por documento, significativo en un corpus grande. - Compartible: todas las entradas viven en la URL (
?t=...&cs=...&ov=...&m=...&d=...), así un enlace reproduce el plan exacto. - Privado: se ejecuta 100% en el cliente - nunca se envía texto ni recuentos del documento a ninguna parte.
- Herramientas relacionadas: Token Generator, Regex Explainer, JSON Formatter.