見積もるテキストを貼り付け Explain how HTTP caching works to a junior developer. Cover ETags, Cache-Control, and the Vary header in under 200 words.
機能の説明
トークン推定ツールは、テキスト・コード・JSON を LLM に送る前に、高速な近似トークン数を提供します。実際のトークナイザーを実行する代わりに、各行を散文・コード・JSON・CJK テキストに分類し、そのコンテンツタイプの典型的な文字あたりトークン率（4 / 3.5 / 3 / 1.5）で割り、±15% の帯付きの点推定を報告します - 実際の BPE トークナイザーは語彙と言語構成によって変わるためです。さらに、チャットのフレーミングオーバーヘッド（メッセージあたり約 5 トークン）を役割マーカーとデリミタぶんとして追加できます。すべて 100% クライアント側で動作します: 貼り付けた内容がサーバーに送信されることはなく、機密性の高いプロンプトにも安全です。
使い方
- Text or code ボックスにテキストやコードを貼り付けます（または Sample でデモプロンプトを読み込みます）。
- Content type を Auto のままにすると各行を検出します。Prose / Code / JSON / CJK を強制すると、入力全体に 1 つの比率を適用します。
- Chat messages を会話のメッセージ数に設定します - 各メッセージがフレーミング 5 トークンを合計に加算します。
- Estimated tokens の見出し、低〜高の範囲、文字数/単語数/行数、解決済みのコンテンツタイプを読みます。
- Copy tokens で数値を取得するか、Copy share link で正確な入力と設定をチームメイトへ送るリンクを取得します。
例
平易な散文
入力: Hello world → 3 tokens (≈ 3–3, type: prose)
コード
入力: const x = 1; → 3 tokens (type: code)
JSON は自動で高い密度の比率になる
入力: {"a": 1, "b": 2} → 5 tokens (type: json — ドキュメント全体が JSON としてパースされるため、すべての行が 3 文字/トークンの比率を使います)
帯が見える長めのブロック
入力: 100 × a → 25 tokens (≈ 21–29)
補足事項
- これは推定であり、正確なカウントではありません: すべての結果に ±15% の帯が付き、実際にはトークナイザーが一切実行されません。この数値は予算立ての補助として扱い、請求書として扱わないでください - モデルプロバイダーはモデル固有の語彙でトークンをカウントします。
- Auto モードは JSON ドキュメントを全体として検出します: 入力が有効な JSON としてパースされる場合、すべての行が JSON 比率を使います。コンテンツタイプを強制すれば上書きできます。
- CJK テキストは高くつく: 中国語・日本語・韓国語はおよそ 1.5 文字につき 1 トークンを消費します - 同じ「1 ページ」のテキストが、英語より 2〜3 倍のトークンを要することがあります。
- 共有可能: 入力とオプションは URL にエンコードされます（
?t=...&type=...&msg=...）。リンクが正確な推定を再現します。 - プライベート: すべての推定はローカルで行われます - 機密情報や認証情報にも安全です。
- 関連ツール: Word Counter、Secure Token Generator、JSON Formatter。