Pokud v aplikaci Clicking Goat používáte napojení na OpenAI GPT, narazili jste při výpočtech ceny na tzv. tokeny. Token je část kódu, se kterou GPT pracuje a podle které stanoví cenu. Na stránce ceníku stojí obecná informace, že na 100 tokenů připadá přibližně 750 slov. Vyúčtování vidíte v administraci OpenAI. Pro získání konkrétnější představy či otestování různých promptů se může hodit OpenAI Tokenizer.
Co je OpenAI Tokenizer
Webová stránka, služba kam vložíte svůj prompt a Tokenizer vám vypočte, kolik v něm našel tokenů.
K čemu se hodí OpenAI Tokenizer
Získáte konkrétnější představu. Můžete porovnat různé prompty. Uvidíte např. že prompt napsaný v českém jazyce je dražší než odpovídající prompt v angličtině a podobně.
Tokenizer a skutečná cena
Výpočty berte orientačně. Jednak při hromadném zpracování dat nedává smysl kalkulovat každý požadavek do API, jednak se cena počítá z tokenů na vstupu i tokenů na výstupu. A výstupní text k dispozici před zpracováním nemáte.
Kde najdete OpenAI Tokenizer
Pro vyzkoušení pokračujte zde.