LLMトークン計算機 - GPT-4o, Claude, Geminiのトークン数＆コスト試算
大規模言語モデル（LLM）は文字や単語ではなく、BPEなどのアルゴリズムで分割された「トークン」単位で処理を行います。特に日本語などのマルチバイト文字は英語に比べトークン消費が多くなる傾向があります。本ツールは主要モデルの正確なトークン数と想定コストを瞬時にシミュレーションします。
このような場面で活用できます
- APIコストの予算試算: RAGシステムやAIチャット導入前に、想定される月間API費用を正確に見積もります。
- コンテキスト長の上限チェック: 入力プロンプトが各モデルの上限（GPT-4oの128k、Claudeの200k等）を超過していないか確認します。
- 日本語トークンの効率分析: 英語に比べて肥大化しやすい日本語プロンプトのトークン消費量を把握し最適化します。
- プロンプトの切り捨て防止: 巨大なコンテキスト注入によってシステム指示文が制限外に押し出されるのを防ぎます。
使い方と実務ガイド
- プロンプトを入力: システム指示やユーザー入力文、RAG用ドキュメントを入力欄に貼り付けます。
- モデル別トークン数の確認: GPT-4o、Claude 3.5、Geminiの各モデルにおけるトークン消費量を並列表示します。
- 推定コストの試算: 各社公式のAPI料金表に基づき、1リクエストあたりのコストを自動計算します。
- プロンプトの軽量化: 冗長な表現や余分な空白を削除して、トークン数の削減を図ります。
入出力の実務例
Input:
You are an expert full-stack engineer. Please review the following code and output suggestions.
Output:
Character Count: 92 | Word Count: 14
GPT-4o Tokens: ~17 tokens (Est. Cost: $0.00004)
Claude 3.5 Sonnet: ~16 tokens
Gemini 1.5 Pro: ~16 tokens
よくある質問（FAQ）
Q. なぜ日本語は英語よりトークン数が多くなるのですか？
A. LLMのトークナイザー辞書が英語を中心に構築されているためです。英語は1単語1トークンで表現できることが多いのに対し、日本語は1文字で複数トークンを消費することがあるためです。
Q. 正確なBPEアルゴリズムで計算されていますか？
A. はい。OpenAIのtiktoken規格に準拠したクライアント側エンジンにより、API通信なしで正確なトークン数を算出します。
Q. 入力トークンと出力トークンで料金が異なるのはなぜですか？
A. 入力は並列処理できますが、出力は1トークンずつ自己回帰的に逐次生成するため計算負荷が高く、出力料金の方が高額に設定されています。
技術・セキュリティ上の注意事項
- 社外秘のプロンプトを入力しても、ブラウザローカルで安全に計算され外部送信されません。
- OpenAI、Anthropic、Google各社の最新API価格設定に基づいて算出されます。
あわせて使える関連ツール