Tokenizer OpenAI / GPT

Pokud v aplikaci Clicking Goat používáte napojení na OpenAI GPT, narazili jste při výpočtech ceny na tzv. tokeny. Token je část kódu, se kterou GPT pracuje a podle které stanoví cenu. Na stránce ceníku stojí obecná informace, že na 100 tokenů připadá přibližně 750 slov. Vyúčtování vidíte v administraci OpenAI. Pro získání konkrétnější představy či otestování různých promptů se může hodit OpenAI Tokenizer.

Co je OpenAI Tokenizer

Webová stránka, služba kam vložíte svůj prompt a Tokenizer vám vypočte, kolik v něm našel tokenů.

K čemu se hodí OpenAI Tokenizer

Získáte konkrétnější představu. Můžete porovnat různé prompty. Uvidíte např. že prompt napsaný v českém jazyce je dražší než odpovídající prompt v angličtině a podobně.

Tokenizer a skutečná cena

Výpočty berte orientačně. Jednak při hromadném zpracování dat nedává smysl kalkulovat každý požadavek do API, jednak se cena počítá z tokenů na vstupu i tokenů na výstupu. A výstupní text k dispozici před zpracováním nemáte.

Kde najdete OpenAI Tokenizer

:arrow_forward: Pro vyzkoušení pokračujte zde.

Náhled Tokenizeru

Další informace

1 Like