Защо е нужен
Tokens определят лимити, забавяне и цена
LLM интерфейсите обикновено показват символи или думи, а API услугите измерват и таксуват tokens. Пунктуация, код, числа, интервали, emoji и различни писмености могат да променят силно привидно кратък prompt. Един и същ видим текст може да даде различен брой при различни tokenizers.
Инструментът е за програмисти, автори на prompts, изследователи, преводачи и малки екипи, които искат локална предварителна проверка. Полезен е за оразмеряване на prompts, сравнение на две OpenAI encoding семейства, проверка на document chunks и планиране на цена с output резерв.
Умишлено не показваме един „универсален“ token брой. Числото има смисъл само заедно с tokenizer-а или източника от доставчика.
Какво означава всеки метод
Двата OpenAI резултата се получават от вградената js-tiktoken реализация на посочения BPE речник. Те са точни за буквалния текст в полето под тази encoding. Не гарантират крайния API usage, защото структурираната заявка може да съдържа допълнителен framing.
Anthropic и Google предлагат собствени token-counting API endpoints. Сайтът не иска API ключ и не изпраща prompt-а към тях. За официален provider резултат извикай endpoint-а в собствената си среда и постави върнатия input count в ръчното поле.
| Метод | Тип резултат | Подходящо за |
|---|---|---|
o200k_base | Точен encoding брой | OpenAI GPT-5, GPT-4.1, GPT-4o и свързани семейства, mapped към o200k_base. |
cl100k_base | Точен encoding брой | По-стари GPT-4, GPT-3.5 и съвместими OpenAI семейства. |
Gemini груба насока | Приблизителна оценка | Символите се делят на четири според общата насока на Google; езикът и съдържанието променят реалния брой. |
Ръчен provider count | Въведен от потребителя | Резултат от Anthropic, Gemini, API usage обект или друг доставчик. |
Надежден начин на работа
- Постави текст или зареди TXT/Markdown файл; съдържанието остава в браузъра.
- Сравни o200k_base и cl100k_base, вместо да приемаш еднакво разделяне от всички модели.
- При OpenAI избери encoding-а на точния API модел и предвиди допълнителните message и tool tokens.
- При Claude или Gemini, когато точността е важна, преброй пълната структурирана заявка с официалния API и използвай ръчния източник.
- Избери ценови preset и реалистичен максимален output. Reasoning/thinking tokens може да се таксуват като output.
- Провери активното ценово ниво и context window. Дълъг prompt може да поскъпне преди да достигне контекстния лимит.
- Копирай отчета и след реална заявка го сравни с provider usage полетата.
Измерима диагностика
Един prompt, два реални encoding резултата
Примерът съдържа английски, български, китайски, пунктуация, десетично число и code-style идентификатор. Смесването е нарочно, за да се вижда различието между tokenizers.
Вграденият tokenizer измерва 29 o200k_base tokens и 33 cl100k_base tokens за точно 87 Unicode символа и 98 UTF-8 байта. Грубата Gemini формула показва около 22 tokens и демонстрира защо heuristic резултатът не трябва да се приема за billing данни.
При стандартните GPT-5.4 mini цени 29 input tokens и планирани 1 000 output tokens струват приблизително 0,00452175 USD. Планираните общо 1 029 tokens използват около 0,2573% от 400 000-token context window.
Формули за цена и контекст
Основната формула е input tokens × input цена / 1 000 000 плюс планирани output tokens × output цена / 1 000 000. Контекстът събира input и планирания output и дели на избрания context window.
GPT-5.5 и GPT-5.4 преминават към официалната long-context цена над 272 000 input tokens. Gemini 3.1 Pro Preview сменя нивото над 200 000. Claude Sonnet 5 използва въвеждащата цена до 31 август 2026 г., а след това документираната стандартна цена.
Ценови данни, проверени на 22 юли 2026 г.
Preset-ите използват стандартни текстови цени в USD за един милион tokens. Каталозите и цените се променят, затова датата и официалните източници са част от резултата.
| Модел | Input / 1 млн. | Output / 1 млн. | Контекст | Ценово ниво |
|---|---|---|---|---|
| GPT-5.5 | 5,00 USD | 30,00 USD | 1,05 млн. | Над 272K input: 10 / 45 USD |
| GPT-5.4 | 2,50 USD | 15,00 USD | 1,05 млн. | Над 272K input: 5 / 22,50 USD |
| GPT-5.4 mini | 0,75 USD | 4,50 USD | 400K | Стандартно ниво |
| Claude Sonnet 5 | 2,00 USD | 10,00 USD | 1 млн. | До 31.08.2026; после 3 / 15 USD |
| Gemini 3.1 Pro Preview | 2,00 USD | 12,00 USD | 1 млн. | До 200K; над това 4 / 18 USD |
| Gemini 2.5 Flash | 0,30 USD | 2,50 USD | 1 млн. | Текстов, image и video input |
Как да провериш production оценка
Приемай браузърния резултат като предварителна проверка. За OpenAI потвърди връзката модел–encoding и сравни крайните usage полета. За Claude използвай безплатния Messages token-counting endpoint със същите system prompt, messages, tools, изображения и документи. За Gemini използвай models.countTokens със същия модел и съдържание.
След реалната генерация сравни input, cached, output, thinking и tool-use tokens от доставчика. Разлика е нормална, когато заявката съдържа повече от видимия текст.
- Преброй цялата структурирана заявка.
- Използвай точния production model ID или snapshot.
- Включи system instructions, tool schemas, history и файлове.
- Различавай output limit от реалния output.
- Провери long-context ценовите прагове.
- Запиши provider usage до оценката.
Данни и поверителност
Поставеният и зареденият текст се обработва от JavaScript и Web Worker в този браузър. Token речниците са статични файлове. Инструментът няма endpoint за prompts, няма история и не извиква cloud tokenizer.
Не поставяй тайни, ако политиката ти за сигурност го забранява. Browser extensions, управлявани устройства, screenshot приложения или външен софтуер могат да виждат съдържанието независимо от Xephory.
- Не се иска API ключ.
- Prompt-ът не се запазва.
- Презареждането изчиства текста.
- Копираният отчет съдържа резултати и настройки, но не prompt-а.
- Analytics и Auto ads се управляват от общия Consent Mode v2.
Ограничения и честни очаквания
Tokenization е специфична за модела, а API billing може да включва съдържание извън текстовото поле.
- „Точен“ означава точен за encoding-а и буквалния текст, не за пълна Chat/Responses заявка.
- Gemini правилото с четири символа е груба насока, особено с неанглийски текст, код, числа и необичайни интервали.
- Няма точен локален Claude count; използвай официалния резултат в ръчното поле.
- Планираният output не е предсказание и може да пропуска reasoning tokens.
- Context window и цените може да се различават според endpoint, платформа, snapshot, modality и регион.
- Не са включени cache, batch, flex, priority, storage, grounding, tools, media, данъци и валутни разлики.
- Прегледът е ограничен до 2 000 tokens и многобайтови символи може да се покажат като replacement fragment.
- Текстът е ограничен до 2 000 000 символа, а файловете до 4 MB.
Официални източници
Проверени на 22 юли 2026 г.
- OpenAI tiktoken и model mappingEncodings и моделни семейства.
- OpenAI GPT-5.5Цена, 1,05M контекст и long-context ниво.
- OpenAI GPT-5.4Цена, контекст и праг.
- OpenAI GPT-5.4 miniЦена и 400K контекст.
- Anthropic Claude Sonnet 5Цени, 1M контекст и нов tokenizer.
- Anthropic token countingОфициален endpoint.
- Google Gemini pricingСтандартни цени и прагове.
- Google token countingГруба насока и models.countTokens.
Често задавани въпроси
Точен ли е OpenAI броят?
Точен е за буквалния текст под o200k_base или cl100k_base. API заявката може да добави role, tool, image и други tokens.
Коя encoding да използвам за GPT-5?
OpenAI tiktoken mapping свързва GPT-5 семействата с o200k_base. Провери точната документация за нови или специализирани варианти.
Защо Claude е с ръчен count?
Няма отворен браузърен tokenizer за точен локален Claude резултат. Официалният endpoint брои и пълната структура.
Точна ли е Gemini оценката?
Не. Тя използва само общото правило за около четири символа на token. За реален брой използвай models.countTokens.
Защо OpenAI encodings се различават?
Използват различни речници и merge правила. Многоезичен текст, код, пунктуация и числа ясно показват разликата.
Цената включва ли отговора?
Само броя output tokens, който планираш. След реална заявка го замени с действителния usage.
Качва ли се документът ми?
Не. Броенето е в Web Worker и prompt-ът не се изпраща към Xephory endpoint или моделния доставчик.
Мога ли да използвам резултата за фактура?
Provider invoice и usage response са официалният източник. Този калкулатор е за планиране и сравнение.