AI agent

Embedding je hustá numerická vektorová reprezentace dat — textu, obrázků nebo kódu — ve vícerozměrném prostoru, kde sémanticky podobné položky jsou umístěny blíže u sebe. Embeddingy jsou základem sémantického vyhledávání, doporučovacích systémů a RAG pipeline. Generují je specializované modely a typicky se ukládají do vektorových databází pro efektivní vyhledávání podobnosti.

Difuzní model je typ generativní AI, která vytváří data učením se reverzovat postupný proces přidávání šumu. Během trénování se model učí postupně odšumovat náhodný šum do koherentních výstupů jako obrázky, zvuk nebo video. Difuzní modely pohánějí nástroje jako Stable Diffusion, DALL-E a Midjourney a staly se dominantní architekturou pro kvalitní generování obrázků.

Velký jazykový model (LLM) je model hlubokého učení trénovaný na rozsáhlých textových datech, který rozumí přirozenému jazyku a generuje lidsky znějící text. Modely jako GPT, Claude a LLaMA pohánějí chatboty, programátorské asistenty a nástroje pro generování obsahu. Fungují na principu predikce dalšího tokenu v sekvenci na základě naučených statistických vzorů napříč miliardami parametrů.

Zpracování přirozeného jazyka (NLP) je odvětví AI zaměřené na umožnění počítačům porozumět, interpretovat a generovat lidský jazyk. NLP pohání aplikace jako chatboty, překladové služby, analýzu sentimentu a sumarizaci textu. Moderní NLP bylo transformováno modely založenými na architektuře transformer, které dosahují pozoruhodných výsledků na úlohách, jež dříve vyžadovaly rozsáhlá ručně vytvořená pravidla.

Fine-tuning je proces dalšího trénování předtrénovaného AI modelu na menší, doménově specifické datové sadě za účelem přizpůsobení konkrétnímu úkolu. Místo trénování od nuly se upravují existující váhy modelu, což je výrazně levnější a rychlejší. Mezi běžné přístupy patří úplný fine-tuning, LoRA (Low-Rank Adaptation) a instruction tuning pro sladění chování modelu s konkrétními požadavky.

V kontextu AI jazykových modelů je token základní jednotka textu, kterou model zpracovává — obvykle slovo, část slova nebo znak v závislosti na tokenizéru. Ceny LLM, kontextová okna i limity rychlosti se měří v tokenech. Pochopení tokenizace je klíčové pro optimalizaci nákladů a dodržení limitů kontextu modelu při vývoji AI aplikací.