ai
Token
V kontextu AI jazykových modelů je token základní jednotka textu, kterou model zpracovává — obvykle slovo, část slova nebo znak v závislosti na tokenizéru. Ceny LLM, kontextová okna i limity rychlosti se měří v tokenech. Pochopení tokenizace je klíčové pro optimalizaci nákladů a dodržení limitů kontextu modelu při vývoji AI aplikací.
#ai