Difuzní model

Zpětnovazební učení (RL) je paradigma strojového učení, kde se agent učí optimálnímu chování interakcí s prostředím a přijímáním odměn nebo penalizací. RLHF (Reinforcement Learning from Human Feedback) je klíčová technika používaná k alignmentu LLM s lidskými preferencemi, díky níž jsou výstupy modelů užitečnější a bezpečnější. RL stojí také za průlomy v herní AI a robotice.

Kontextové okno je maximální množství textu (měřené v tokenech), které LLM může zpracovat v jedné interakci, zahrnující vstupní prompt i generovaný výstup. Větší kontextová okna umožňují modelům zpracovávat delší dokumenty, udržovat rozsáhlé konverzace a uvažovat nad více informacemi najednou. Velikost kontextových oken rychle roste — od 4K tokenů u raných GPT modelů po více než 1M tokenů u současných modelů jako Claude.

Chain of Thought (CoT) je technika promptování, která vybízí LLM k rozložení složitého uvažování na mezikroky před dosažením konečné odpovědi. Explicitním uvažováním přes jednotlivé kroky modely dosahují výrazně lepší přesnosti u matematických, logických a vícekrokových problémů. Rozšířené myšlení a „thinking" tokeny u modelů jako Claude představují zabudovanou formu chain-of-thought uvažování.

Generativní AI je kategorie umělé inteligence, která vytváří nový obsah — text, obrázky, kód, hudbu nebo video — místo pouhé analýzy nebo klasifikace existujících dat. Poháněná architekturami jako transformery a difuzní modely, generativní AI transformovala vývoj softwaru nástroji jako GitHub Copilot, Claude a Cursor. Představuje posun od AI jako klasifikačního nástroje k AI jako kreativnímu spolupracovníkovi.

Počítačové vidění je oblast AI, která trénuje stroje k interpretaci a porozumění vizuálním informacím z obrázků a videí. Aplikace zahrnují detekci objektů, rozpoznávání obličejů, autonomní řízení a analýzu medicínských snímků. Moderní počítačové vidění využívá modely hlubokého učení jako CNN a vision transformery (ViT) a stále více se integruje s jazykovými modely v multimodálních AI systémech.

V kontextu AI se halucinací rozumí situace, kdy jazykový model generuje sebejistě znějící, ale fakticky nesprávné nebo vymyšlené informace. Dochází k tomu, protože LLM predikují statisticky pravděpodobný text, místo aby ověřovaly fakta. Mezi strategie zmírnění patří RAG, zakotvení odpovědí ve zdrojových dokumentech, validace strukturovaného výstupu a nastavení teploty pro snížení kreativní odchylky.