粘贴文本以估算 Explain how HTTP caching works to a junior developer. Cover ETags, Cache-Control, and the Vary header in under 200 words.
功能说明
Token 估算器为任何文本、代码或 JSON 提供快速的近似 token 计数,在你把它们发送给 LLM 之前。它不运行真正的分词器,而是把每一行分类为散文、代码、JSON 或 CJK 文本,再除以该内容类型典型的每 token 字符数(4 / 3.5 / 3 / 1.5),然后报告一个带 ±15% 区间的点估计 - 因为真实的 BPE 分词器会随词表和语言混合而变化。它还可以加上聊天框架开销(每条消息约 5 个 token),用于角色标记和分隔符。一切 100% 在客户端运行:你粘贴的任何内容都不会被发送到服务器,因此适用于敏感提示词。
使用方法
- 把文本或代码粘贴到 Text or code 框中(或点击 Sample 加载一个演示提示词)。
- 把 Content type 保持在 Auto 以逐行检测,或强制选择 Prose / Code / JSON / CJK,对整个输入应用同一速率。
- 把 Chat messages 设为你对话中的消息条数 - 每条会给总数增加 5 个框架 token。
- 阅读 Estimated tokens 主数值、低-高区间、字符/词/行数,以及解析出的内容类型。
- 用 Copy tokens 复制数字,或用 Copy share link 把精确的输入和设置发给队友。
示例
普通散文
输入:Hello world → 3 tokens (≈ 3–3, type: prose)
代码
输入:const x = 1; → 3 tokens (type: code)
JSON 自动获得密集速率
输入:{"a": 1, "b": 2} → 5 tokens (type: json — the whole document parses as JSON, so every line uses the 3 chars/token rate)
一个更长的块,区间可见
输入:100 × a → 25 tokens (≈ 21–29)
补充说明
- 这些是估算值,不是精确计数: 每个结果都带 ±15% 区间,且没有任何分词器实际运行。把这个数字当作预算参考,而不是账单 - 模型提供商用各自的模型专属词表来计数 token。
- Auto 模式把 JSON 文档作为整体检测: 如果你的输入能解析为合法 JSON,每一行都使用 JSON 速率。强制指定内容类型可以覆盖该行为。
- CJK 文本很昂贵: 中文、日文和韩文大约每 1.5 个字符消耗一个 token - 同样一“页”文本的 token 成本可能是英文的 2-3 倍。
- 可分享: 你的输入和选项都编码在 URL 中(
?t=...&type=...&msg=...),一条链接即可复现精确的估算。 - 私密: 所有估算都在本地完成 - 适用于秘密信息和凭据。
- 相关工具: Word Counter、Secure Token Generator、JSON Formatter。