temperature je parametr OpenAI API pro modely GPT-3 a GPT-4, kterým může uživatel stanovit “míru kreativity” odpovědi GPT. Nízká hodnota znamená konzervativní odpověď, vysoká zvyšuje míru “kreativity”, se kterou GPT odpovídá.
O parametru temperature
Parametr temperature udává míru kreativity odpovědí GPT v OpenAI API. Výchozí hodnota je 0,5. Nižší hodnoty by měly docílit konzervativních odpovědí - podle dokumentace by se např. při vícenásobných zadáních stejného promptu měla navyšovat pravděpodobnost stejné odpovědi. Maximální hodnota je 2. Vysoké hodnoty by měly zvyšovat různorodost výstupu.
Fungování temperature
Vzhledem k tomu, že GPT je jazykový model, odpovědi formuluje na základě pravděpodobnosti. Snaží se skládat výstupní tokeny tak, jak si myslí, že je nejvyšší pravděpodobnost, že je uživatel očekává. Vysoké hodnoty parametru temperature zajistí, že GPT do výstupu zařadí i části, které mohly mít jinou než nejvyšší pravděpodobnost, to aby byl výstup “pestřejší”.
Práce s temperature
Dokumentace udává, že vyšší hodnoty temperature se hodí pro generování kreativních textů. Nízké hodnoty by měly být lepší např. pro clusterizaci slov. V praxi bych řekl, nechť uživatel zkusí nejprve výchozí hodnotu. Pokud mu výstup nevyhovuje, ať začne experimentovat. A výstupy pečlivě kontroluje před nasazením do produkčních procesů.
Další informace
- Dokumentace OpeenaAI API