Embedding

Retrieval-Augmented Generation (RAG) je technika, která vylepšuje odpovědi LLM tím, že před generováním odpovědi načte relevantní dokumenty z externí znalostní báze. Model tak může zakládat svůj výstup na aktuálních, doménově specifických informacích místo spoléhání pouze na trénovací data. RAG se široce používá v podnikových chatbotech, dokumentačních asistentech a AI aplikacích s vyhledáváním.

Kontextové okno je maximální množství textu (měřené v tokenech), které LLM může zpracovat v jedné interakci, zahrnující vstupní prompt i generovaný výstup. Větší kontextová okna umožňují modelům zpracovávat delší dokumenty, udržovat rozsáhlé konverzace a uvažovat nad více informacemi najednou. Velikost kontextových oken rychle roste — od 4K tokenů u raných GPT modelů po více než 1M tokenů u současných modelů jako Claude.

Fine-tuning je proces dalšího trénování předtrénovaného AI modelu na menší, doménově specifické datové sadě za účelem přizpůsobení konkrétnímu úkolu. Místo trénování od nuly se upravují existující váhy modelu, což je výrazně levnější a rychlejší. Mezi běžné přístupy patří úplný fine-tuning, LoRA (Low-Rank Adaptation) a instruction tuning pro sladění chování modelu s konkrétními požadavky.

V kontextu AI se halucinací rozumí situace, kdy jazykový model generuje sebejistě znějící, ale fakticky nesprávné nebo vymyšlené informace. Dochází k tomu, protože LLM predikují statisticky pravděpodobný text, místo aby ověřovaly fakta. Mezi strategie zmírnění patří RAG, zakotvení odpovědí ve zdrojových dokumentech, validace strukturovaného výstupu a nastavení teploty pro snížení kreativní odchylky.

Zpracování přirozeného jazyka (NLP) je odvětví AI zaměřené na umožnění počítačům porozumět, interpretovat a generovat lidský jazyk. NLP pohání aplikace jako chatboty, překladové služby, analýzu sentimentu a sumarizaci textu. Moderní NLP bylo transformováno modely založenými na architektuře transformer, které dosahují pozoruhodných výsledků na úlohách, jež dříve vyžadovaly rozsáhlá ručně vytvořená pravidla.

Difuzní model je typ generativní AI, která vytváří data učením se reverzovat postupný proces přidávání šumu. Během trénování se model učí postupně odšumovat náhodný šum do koherentních výstupů jako obrázky, zvuk nebo video. Difuzní modely pohánějí nástroje jako Stable Diffusion, DALL-E a Midjourney a staly se dominantní architekturou pro kvalitní generování obrázků.