Transformer

Embedding je hustá numerická vektorová reprezentace dat — textu, obrázků nebo kódu — ve vícerozměrném prostoru, kde sémanticky podobné položky jsou umístěny blíže u sebe. Embeddingy jsou základem sémantického vyhledávání, doporučovacích systémů a RAG pipeline. Generují je specializované modely a typicky se ukládají do vektorových databází pro efektivní vyhledávání podobnosti.

V kontextu AI se halucinací rozumí situace, kdy jazykový model generuje sebejistě znějící, ale fakticky nesprávné nebo vymyšlené informace. Dochází k tomu, protože LLM predikují statisticky pravděpodobný text, místo aby ověřovaly fakta. Mezi strategie zmírnění patří RAG, zakotvení odpovědí ve zdrojových dokumentech, validace strukturovaného výstupu a nastavení teploty pro snížení kreativní odchylky.

Zpětnovazební učení (RL) je paradigma strojového učení, kde se agent učí optimálnímu chování interakcí s prostředím a přijímáním odměn nebo penalizací. RLHF (Reinforcement Learning from Human Feedback) je klíčová technika používaná k alignmentu LLM s lidskými preferencemi, díky níž jsou výstupy modelů užitečnější a bezpečnější. RL stojí také za průlomy v herní AI a robotice.

Neuronová síť je výpočetní model inspirovaný lidským mozkem, složený z vrstev propojených uzlů (neuronů), které zpracovávají data úpravou vážených spojení během trénování. Hluboké neuronové sítě s mnoha vrstvami tvoří základ moderní AI a pohánějí vše od rozpoznávání obrazu po porozumění jazyku. Mezi běžné architektury patří dopředné sítě, konvoluční sítě (CNN) a transformery.

Prompt engineering je praxe tvorby a optimalizace vstupních instrukcí pro navádění AI modelů k produkci požadovaných výstupů. Mezi techniky patří few-shot příklady, chain-of-thought reasoning, přiřazení rolí a strukturované formátování výstupu. Efektivní prompt engineering může dramaticky zlepšit kvalitu, přesnost a konzistenci odpovědí LLM bez úpravy samotného modelu.

Zpracování přirozeného jazyka (NLP) je odvětví AI zaměřené na umožnění počítačům porozumět, interpretovat a generovat lidský jazyk. NLP pohání aplikace jako chatboty, překladové služby, analýzu sentimentu a sumarizaci textu. Moderní NLP bylo transformováno modely založenými na architektuře transformer, které dosahují pozoruhodných výsledků na úlohách, jež dříve vyžadovaly rozsáhlá ručně vytvořená pravidla.