Sample — a 10,000-token document (~40 pages) at these settings: 23 chunks · 11,408 tokens embedded (1,408 overlap overhead) 23 vectors · $0.000228 with text-embedding-3-small
Prices flow from the shared model table (USD per 1M input tokens). All math runs 100% client-side.
Was es tut
Der Embedding Chunk Planner berechnet, wie ein Dokument in überlappende Chunks zerfällt, bevor du es in eine Retrieval-Augmented-Generation-Pipeline (RAG) schickst. Gib eine Token-Anzahl, eine Chunk-Größe und ein Overlap ein, und er berechnet die Zahl der Chunks, die tatsächlich eingebetteten Tokens gesamt (Overlap bettet Tokens an jeder Naht neu ein), den Overhead, den das verursacht, und die Dollarkosten für dein gewähltes Embedding-Modell und deine Dimensionen. Die Preise stammen aus der geteilten Modelltabelle - OpenAI, Cohere und Voyage AI - sodass die Schätzung zur echten Abrechnung pro Million Tokens passt.
Er beantwortet die Fragen, die bei jeder Dimensionierung eines RAG-Index auftauchen: “Wie viele Vektoren produziert dieses Korpus?” und “Was kostet mich das Overlap wirklich?”
So verwendest du es
- Gib die Token-Anzahl deines Dokuments ein (ein Tokenizer oder eine
tokens ≈ chars / 4-Schätzung funktionieren beide). - Setze Chunk-Größe und Overlap in Tokens - die 512/64-Defaults sind ein üblicher Ausgangspunkt.
- Wähle ein Embedding-Modell aus der Dropdown-Liste, dann seine Dimensionen (nur die vom Modell angebotenen Größen stehen zur Wahl).
- Lies den Plan: Chunks, Tokens gesamt inklusive Overlap, Overlap-Overhead, Vektoranzahl und Kosten.
- Kopiere den Plan, oder teile die URL - jede Eingabe ist im Link kodiert.
Beispiele
Ein 1.000-Token-Dokument mit den 512/64-Defaults, text-embedding-3-small @ 1536 Dimensionen
Chunks: 3
Tokens embedded: 1,128 (incl. overlap)
Overlap overhead: 128
Vectors: 3
Cost: $0.000023Dasselbe Dokument, Overlap auf 600 hochgeschraubt
Das Overlap wird auf 256 gekappt (die Hälfte der Chunk-Größe), der Plan wird also:
Chunks: 3
Tokens embedded: 1,512 (incl. overlap)
Overlap overhead: 512
Cost: $0.000030Wechsel auf text-embedding-3-large @ 3072 Dimensionen
Dieselben 1.128 eingebetteten Tokens, zu $0.13 pro Million: 1128 / 1e6 * 0.13 = $0.000147.
Gut zu wissen
- Overlap-Klemme: Das Overlap übersteigt nie die Hälfte der Chunk-Größe (
floor(chunkSize / 2)). Ein so großes Overlap würde aufeinanderfolgende Chunks am Fortschreiten hindern, deshalb klemmt der Planer es ab - 512-Token-Chunks deckeln das Overlap bei 256, egal was du eingibst. Negatives Overlap gilt als 0. - Warum Overlap Geld kostet: Jede Chunk-Grenze bettet
overlapTokens im nächsten Chunk neu ein. Ein 3-Chunk-Plan mit 64 Overlap bettet 128 zusätzliche Tokens ein - klein pro Dokument, signifikant über ein großes Korpus. - Teilbar: Alle Eingaben leben in der URL (
?t=...&cs=...&ov=...&m=...&d=...), ein Link reproduziert also den exakten Plan. - Privat: Läuft zu 100 % clientseitig - kein Dokumenttext und keine Zähler werden je irgendwohin gesendet.
- Verwandte Tools: Token Generator, Regex Explainer, JSON Formatter.