Fügen Sie Text zum Schätzen ein Explain how HTTP caching works to a junior developer. Cover ETags, Cache-Control, and the Vary header in under 200 words.
Was es tut
Der Token Estimator liefert dir eine schnelle, ungefähre Token-Anzahl für beliebigen Text, Code oder JSON, bevor du ihn an ein LLM schickst. Statt einen echten Tokenizer laufen zu lassen, klassifiziert er jede Zeile als Prosa, Code, JSON oder CJK-Text und teilt durch die typische Zeichen-pro-Token-Rate dieses Inhaltstyps (4 / 3.5 / 3 / 1.5). Er meldet dann eine Punktschätzung mit ±15-%-Band - weil echte BPE-Tokenizer je nach Vokabular und Sprachmischung variieren. Er kann zusätzlich den Chat-Framing-Overhead addieren (~5 Tokens pro Nachricht) für Rollen-Marker und Trennzeichen. Alles läuft zu 100 % clientseitig: Nichts, was du einfügst, wird je an einen Server gesendet - sicher für sensible Prompts.
So verwendest du es
- Füge deinen Text oder Code in das Feld Text or code ein (oder klicke auf Sample, um einen Demo-Prompt zu laden).
- Lasse Content type auf Auto, um jede Zeile einzeln zu erkennen, oder erzwinge Prose / Code / JSON / CJK, um eine Rate auf die gesamte Eingabe anzuwenden.
- Setze Chat messages auf die Anzahl der Nachrichten in deiner Konversation - jede addiert 5 Framing-Tokens zur Summe.
- Lies die Überschrift Estimated tokens, die low-high-Spanne, Zeichen / Wörter / Zeilen und den aufgelösten Inhaltstyp.
- Copy tokens übernimmt die Zahl, oder Copy share link schickt die exakte Eingabe samt Einstellungen an ein Teammitglied.
Beispiele
Klare Prosa
Eingabe: Hello world → 3 tokens (≈ 3–3, type: prose)
Code
Eingabe: const x = 1; → 3 tokens (type: code)
JSON bekommt automatisch die dichte Rate
Eingabe: {"a": 1, "b": 2} → 5 tokens (type: json — the whole document parses as JSON, so every line uses the 3 chars/token rate)
Ein längerer Block mit sichtbarem Band
Eingabe: 100 × a → 25 tokens (≈ 21–29)
Gut zu wissen
- Das sind Schätzungen, keine exakten Zählungen: Jedes Ergebnis trägt ein ±15-%-Band, und es läuft kein echter Tokenizer. Behandle die Zahl als Budgetierungshilfe, nicht als Rechnung - Modelanbieter zählen Tokens mit modellspezifischen Vokabularen.
- Der Auto-Modus erkennt JSON-Dokumente als Ganzes: Wenn deine Eingabe als gültiges JSON parst, nutzt jede Zeile die JSON-Rate. Erzwinge einen Inhaltstyp, um das zu überschreiben.
- CJK-Text ist teuer: Chinesisch, Japanisch und Koreanisch packen etwa ein Token auf 1,5 Zeichen - dieselbe „Seite“ Text kann 2-3× mehr Tokens kosten als Englisch.
- Per Link teilbar: Eingabe und Optionen sind in der URL kodiert (
?t=...&type=...&msg=...); ein Link reproduziert die exakte Schätzung. - Privat: Die gesamte Schätzung läuft lokal - sicher für Geheimnisse und Zugangsdaten.
- Verwandte Tools: Word Counter, Secure Token Generator, JSON Formatter.