Fine-tuning

Fine-tuning je proces dalšího trénování předtrénovaného AI modelu na menší, doménově specifické datové sadě za účelem přizpůsobení konkrétnímu úkolu. Místo trénování od nuly se upravují existující váhy modelu, což je výrazně levnější a rychlejší. Mezi běžné přístupy patří úplný fine-tuning, LoRA (Low-Rank Adaptation) a instruction tuning pro sladění chování modelu s konkrétními požadavky.

#ai

Související pojmy

Token

V kontextu AI jazykových modelů je token základní jednotka textu, kterou model zpracovává — obvykle slovo, část slova nebo znak v závislosti na tokenizéru. Ceny LLM, kontextová okna i limity rychlosti se měří v tokenech. Pochopení tokenizace je klíčové pro optimalizaci nákladů a dodržení limitů kontextu modelu při vývoji AI aplikací.

Embedding

Embedding je hustá numerická vektorová reprezentace dat — textu, obrázků nebo kódu — ve vícerozměrném prostoru, kde sémanticky podobné položky jsou umístěny blíže u sebe. Embeddingy jsou základem sémantického vyhledávání, doporučovacích systémů a RAG pipeline. Generují je specializované modely a typicky se ukládají do vektorových databází pro efektivní vyhledávání podobnosti.

Transformer

Transformer je architektura neuronové sítě představená v článku „Attention Is All You Need" z roku 2017, která zásadně změnila zpracování přirozeného jazyka. Na rozdíl od rekurentních sítí zpracovává transformery celé sekvence paralelně pomocí mechanismu self-attention, což umožňuje efektivně zachytit závislosti na velké vzdálenosti. Prakticky všechny moderní LLM, včetně GPT a Claude, jsou postaveny na architektuře transformer.

Halucinace

V kontextu AI se halucinací rozumí situace, kdy jazykový model generuje sebejistě znějící, ale fakticky nesprávné nebo vymyšlené informace. Dochází k tomu, protože LLM predikují statisticky pravděpodobný text, místo aby ověřovaly fakta. Mezi strategie zmírnění patří RAG, zakotvení odpovědí ve zdrojových dokumentech, validace strukturovaného výstupu a nastavení teploty pro snížení kreativní odchylky.

Kontextové okno

Kontextové okno je maximální množství textu (měřené v tokenech), které LLM může zpracovat v jedné interakci, zahrnující vstupní prompt i generovaný výstup. Větší kontextová okna umožňují modelům zpracovávat delší dokumenty, udržovat rozsáhlé konverzace a uvažovat nad více informacemi najednou. Velikost kontextových oken rychle roste — od 4K tokenů u raných GPT modelů po více než 1M tokenů u současných modelů jako Claude.

Zpracování přirozeného jazyka

Zpracování přirozeného jazyka (NLP) je odvětví AI zaměřené na umožnění počítačům porozumět, interpretovat a generovat lidský jazyk. NLP pohání aplikace jako chatboty, překladové služby, analýzu sentimentu a sumarizaci textu. Moderní NLP bylo transformováno modely založenými na architektuře transformer, které dosahují pozoruhodných výsledků na úlohách, jež dříve vyžadovaly rozsáhlá ručně vytvořená pravidla.

Všechna slova