Počítačové vidění

Kontextové okno je maximální množství textu (měřené v tokenech), které LLM může zpracovat v jedné interakci, zahrnující vstupní prompt i generovaný výstup. Větší kontextová okna umožňují modelům zpracovávat delší dokumenty, udržovat rozsáhlé konverzace a uvažovat nad více informacemi najednou. Velikost kontextových oken rychle roste — od 4K tokenů u raných GPT modelů po více než 1M tokenů u současných modelů jako Claude.

Difuzní model je typ generativní AI, která vytváří data učením se reverzovat postupný proces přidávání šumu. Během trénování se model učí postupně odšumovat náhodný šum do koherentních výstupů jako obrázky, zvuk nebo video. Difuzní modely pohánějí nástroje jako Stable Diffusion, DALL-E a Midjourney a staly se dominantní architekturou pro kvalitní generování obrázků.

Generativní AI je kategorie umělé inteligence, která vytváří nový obsah — text, obrázky, kód, hudbu nebo video — místo pouhé analýzy nebo klasifikace existujících dat. Poháněná architekturami jako transformery a difuzní modely, generativní AI transformovala vývoj softwaru nástroji jako GitHub Copilot, Claude a Cursor. Představuje posun od AI jako klasifikačního nástroje k AI jako kreativnímu spolupracovníkovi.

Transformer je architektura neuronové sítě představená v článku „Attention Is All You Need" z roku 2017, která zásadně změnila zpracování přirozeného jazyka. Na rozdíl od rekurentních sítí zpracovává transformery celé sekvence paralelně pomocí mechanismu self-attention, což umožňuje efektivně zachytit závislosti na velké vzdálenosti. Prakticky všechny moderní LLM, včetně GPT a Claude, jsou postaveny na architektuře transformer.

Chain of Thought (CoT) je technika promptování, která vybízí LLM k rozložení složitého uvažování na mezikroky před dosažením konečné odpovědi. Explicitním uvažováním přes jednotlivé kroky modely dosahují výrazně lepší přesnosti u matematických, logických a vícekrokových problémů. Rozšířené myšlení a „thinking" tokeny u modelů jako Claude představují zabudovanou formu chain-of-thought uvažování.

Zpracování přirozeného jazyka (NLP) je odvětví AI zaměřené na umožnění počítačům porozumět, interpretovat a generovat lidský jazyk. NLP pohání aplikace jako chatboty, překladové služby, analýzu sentimentu a sumarizaci textu. Moderní NLP bylo transformováno modely založenými na architektuře transformer, které dosahují pozoruhodných výsledků na úlohách, jež dříve vyžadovaly rozsáhlá ručně vytvořená pravidla.