Sample — a 10,000-token document (~40 pages) at these settings: 23 chunks · 11,408 tokens embedded (1,408 overlap overhead) 23 vectors · $0.000228 with text-embedding-3-small
Prices flow from the shared model table (USD per 1M input tokens). All math runs 100% client-side.
Ce que ça fait
Le Planificateur de chunks d’embedding détermine comment un document se découpe en chunks à chevauchement avant que vous ne l’envoyiez dans un pipeline de génération augmentée par récupération (RAG). Donnez-lui un nombre de tokens, une taille de chunk et un chevauchement, et il calcule le nombre de chunks, le total de tokens réellement embarqués (le chevauchement ré-embarque des tokens à chaque couture), le surcoût que cela ajoute, et le coût en dollars pour le modèle d’embedding et les dimensions choisis. Les prix viennent de la table de modèles partagée — OpenAI, Cohere et Voyage AI — donc l’estimation correspond à la vraie facturation au million de tokens.
Il répond aux questions qui reviennent à chaque dimensionnement d’index RAG : « Combien de vecteurs ce corpus va-t-il produire ? » et « Combien me coûte réellement le chevauchement ? »
Comment l’utiliser
- Saisissez le nombre de tokens de votre document (un tokenizer ou une estimation
tokens ≈ chars / 4fonctionnent tous les deux). - Réglez Taille de chunk et Chevauchement en tokens — les valeurs par défaut 512/64 sont un point de départ courant.
- Choisissez un Modèle d’embedding dans la liste déroulante, puis ses Dimensions (seules les tailles proposées par le modèle sont listées).
- Lisez le plan : chunks, total de tokens avec chevauchement, surcoût de chevauchement, nombre de vecteurs, et coût.
- Copiez le plan, ou partagez l’URL — chaque entrée est encodée dans le lien.
Exemples
Un document de 1 000 tokens aux valeurs par défaut 512/64, text-embedding-3-small @ 1536 dims
Chunks: 3
Tokens embedded: 1,128 (incl. overlap)
Overlap overhead: 128
Vectors: 3
Cost: $0.000023Même document, chevauchement poussé à 600
Le chevauchement est borné à 256 (la moitié de la taille de chunk), donc le plan devient :
Chunks: 3
Tokens embedded: 1,512 (incl. overlap)
Overlap overhead: 512
Cost: $0.000030Passage à text-embedding-3-large @ 3072 dims
Mêmes 1 128 tokens embarqués, à 0,13 $ le million : 1128 / 1e6 * 0.13 = $0.000147.
Bon à savoir
- Borne de chevauchement : le chevauchement ne dépasse jamais la moitié de la taille de chunk (
floor(chunkSize / 2)). Un chevauchement aussi grand empêcherait les chunks consécutifs d’avancer, donc le planificateur le borne — des chunks de 512 tokens plafonnent le chevauchement à 256 quoi que vous saisissiez. Un chevauchement négatif est traité comme 0. - Pourquoi le chevauchement coûte de l’argent : chaque frontière de chunk ré-embarque
overlaptokens dans le chunk suivant. Un plan à 3 chunks avec un chevauchement de 64 embarque 128 tokens en plus — faible par document, significatif sur un grand corpus. - Partageable : toutes les entrées vivent dans l’URL (
?t=...&cs=...&ov=...&m=...&d=...), donc un lien reproduit le plan exact. - Privé : s’exécute à 100 % côté client — aucun texte de document ni aucun compteur n’est envoyé nulle part.
- Outils liés : Token Generator, Regex Explainer, JSON Formatter.