Sample — a 10,000-token document (~40 pages) at these settings: 23 chunks · 11,408 tokens embedded (1,408 overlap overhead) 23 vectors · $0.000228 with text-embedding-3-small
Prices flow from the shared model table (USD per 1M input tokens). All math runs 100% client-side.
機能の説明
エンベディングチャンクプランナーは、検索拡張生成（RAG）パイプラインに送る前に、文書がオーバーラップつきチャンクへどう分割されるかを算出します。トークン数、チャンクサイズ、オーバーラップを与えると、チャンク数、実際に埋め込まれる総トークン数（オーバーラップは接続部ごとにトークンを再埋め込みします）、それが生むオーバーヘッド、そして選んだ埋め込みモデルと次元数に応じたドルコストを計算します。価格は共有モデルテーブル - OpenAI、Cohere、Voyage AI - から取られるため、見積もりは実際の 100 万トークンあたり課金と一致します。
RAG インデックスの規模を決めるときに毎回出る疑問、「このコーパスは何本のベクトルを生むか?」「オーバーラップは実際いくらかかるのか?」に答えます。
使い方
- 文書のトークン数を入力します（トークナイザーでも
tokens ≈ chars / 4の概算でも構いません）。 - チャンクサイズとオーバーラップをトークンで設定します - デフォルトの 512/64 はよくある出発点です。
- ドロップダウンから埋め込みモデルを選び、次にその次元数を選びます（そのモデルが提供するサイズだけが一覧に出ます）。
- プランを読みます: チャンク数、オーバーラップ込みの総トークン数、オーバーラップのオーバーヘッド、ベクトル数、コスト。
- プランをコピーするか、URL を共有します - すべての入力がリンクにエンコードされます。
例
1,000 トークンの文書をデフォルト 512/64 で、text-embedding-3-small @ 1536 次元
Chunks: 3
Tokens embedded: 1,128 (incl. overlap)
Overlap overhead: 128
Vectors: 3
Cost: $0.000023同じ文書で、オーバーラップを 600 に引き上げた場合
オーバーラップは 256（チャンクサイズの半分）にクランプされるため、プランはこうなります:
Chunks: 3
Tokens embedded: 1,512 (incl. overlap)
Overlap overhead: 512
Cost: $0.000030text-embedding-3-large @ 3072 次元に切り替え
同じ 1,128 トークンの埋め込みで、100 万あたり $0.13: 1128 / 1e6 * 0.13 = $0.000147。
補足事項
- オーバーラップのクランプ: オーバーラップはチャンクサイズの半分（
floor(chunkSize / 2)）を超えません。それ以上大きいオーバーラップは隣接チャンクの前進を止めてしまうため、プランナーはクランプします - 512 トークンのチャンクなら、入力値に関係なくオーバーラップは最大 256 です。負のオーバーラップは 0 として扱われます。 - オーバーラップがお金を生む理由: チャンク境界ごとに、次のチャンクで
overlapトークンが再埋め込みされます。64 のオーバーラップで 3 チャンクのプランは 128 トークン余分に埋め込みます - 1 文書なら小さいですが、大規模コーパスでは無視できません。 - 共有可能: すべての入力は URL に保持されます（
?t=...&cs=...&ov=...&m=...&d=...）。リンクで正確なプランを再現できます。 - プライベート: 100% クライアント側で動作 - 文書のテキストも件数も、どこへも送信されません。
- 関連ツール: Token Generator、Regex Explainer、JSON Formatter。