Celkový obraz
Klasický softvér je súbor pokynov napísaných ľuďmi: ak sa stane toto, urob tamto. AI tento postup obracia. Namiesto písania pravidiel inžinieri ukážu systému množstvo príkladov a nechajú učiaci sa algoritmus, aby pravidlá objavil sám.
Takmer každý AI systém, ktorý dnes používate, funguje podľa rovnakého postupu.
| Fáza | Čo sa deje | Príklad: chatovací asistent |
|---|---|---|
| Dáta | Zhromažďovanie a čistenie príkladov. | Veľké množstvo textov, kódu a konverzácií. |
| Model | Výber architektúry s nastaviteľnými parametrami. | Neurónová sieť Transformer s miliardami parametrov. |
| Trénovanie | Úprava parametrov na zníženie chybovosti. | Predpovedanie ďalšieho tokenu a následné vylepšovanie na základe spätnej väzby od ľudí a AI. |
| Vyhodnocovanie | Testovanie na dátach, ktoré model ešte nevidel. | Porovnávacie testy, bezpečnostné testy a posúdenie ľuďmi. |
| Inferencia | Použitie modelu na nový vstup. | Odpoveď na vašu správu za niekoľko sekúnd. |
Krok 1: Dáta
Dáta sú surovinou pre AI. Model sa dokáže naučiť len vzorce prítomné v trénovacích dátach, takže kvalita, rozmanitosť a nestrannosť týchto dát ovplyvňujú všetko, čo nasleduje.
- Štruktúrované dáta: tabuľky, napríklad transakcie, údaje zo senzorov alebo zdravotné záznamy.
- Neštruktúrované dáta: text, obrázky, zvuk a video, ktoré tvoria väčšinu informácií na svete.
- Označené dáta: príklady s priradenou správnou odpoveďou, napríklad fotografie označené ako „mačka“ alebo „pes“.
- Syntetické dáta: príklady vytvorené inými AI modelmi, ktoré sa dnes bežne používajú na trénovanie a ďalšie dolaďovanie nových modelov.
Pred trénovaním sa dáta čistia, odstraňujú sa duplicity, filtruje sa škodlivý alebo nekvalitný obsah a dáta sa prevádzajú na čísla, ktoré model dokáže spracovať. Pri texte to znamená rozdelenie na tokeny, teda slová alebo časti slov.
Krok 2: Metódy učenia
Strojové učenie ponúka viacero spôsobov, ako sa učiť z dát. Moderné systémy ich často kombinujú.
Supervised learning
Učí sa z označených príkladov. Používa sa na rozpoznávanie spamu, klasifikáciu medicínskych snímok a predpovedanie cien.
Učenie bez učiteľa
Nachádza štruktúru v neoznačených dátach, napríklad skupiny zákazníkov alebo nezvyčajné transakcie.
Samoučenie s dohľadom
Vytvára si vlastné označenia zo surových dát, napríklad tak, že skryje slovo a predpovedá ho. Takto prebieha predtrénovanie veľkých jazykových modelov (LLM).
Učenie posilnením
Učí sa metódou pokusov a omylov na základe odmien. Používa sa v AI na hranie hier, v robotike a pri trénovaní modelov na uvažovanie.
Krok 3: Neurónové siete
Väčšina moderných AI systémov využíva umelé neurónové siete. Sieť tvoria vrstvy malých jednotiek (neurónov). Každá jednotka vynásobí svoje vstupy váhami, sčíta ich a výsledok pošle cez jednoduchú nelineárnu funkciu do ďalšej vrstvy.
- Vstupná vrstva prijíma čísla, ktoré reprezentujú dáta, napríklad hodnoty pixelov alebo vektorové reprezentácie tokenov.
- Skryté vrstvy tieto čísla postupne premieňajú na abstraktnejšie znaky, napríklad hrany, tvary a objekty na obrázku.
- Výstupná vrstva vytvára výsledok, napríklad pravdepodobnosť každého možného ďalšieho slova.
Hlboké učenie jednoducho znamená neurónové siete s mnohými vrstvami. Na rôzne typy dát sa hodia rôzne architektúry: konvolučné siete na obrázky, rekurentné siete v starších systémoch rozpoznávania reči, difúzne modely na generovanie obrázkov a Transformery na jazyk a čoraz častejšie aj takmer na všetko ostatné.
Krok 4: Trénovanie
Trénovanie je optimalizačný cyklus, ktorý sa opakuje miliardy ráz.
- Dopredný priechod: model vytvorí predpoveď pre dávku príkladov.
- Stratová funkcia: meria, nakoľko sa predpoveď mýlila.
- Spätné šírenie chyby: algoritmus vypočíta, ako veľmi jednotlivé váhy prispeli k chybe.
- Gradientný zostup: každá váha sa mierne upraví smerom, ktorý znižuje chybu.
Najpokročilejšie jazykové modely sa trénujú na obrovských súboroch dát pomocou tisícov špecializovaných čipov (GPU alebo TPU) celé týždne či mesiace. Podľa verejných odhadov stojí trénovanie najväčších modelov desiatky až stovky miliónov dolárov, preto ich od základu vytvára len niekoľko spoločností.
Častým problémom je preučenie: model si zapamätá tréningové príklady namiesto toho, aby sa naučil všeobecné vzorce. Inžinieri ho odhaľujú testovaním na samostatných validačných dátach a predchádzajú mu väčším množstvom dát, regularizáciou a včasným zastavením trénovania.
Krok 5: Použitie modelu
Inferencia prebieha vtedy, keď AI skutočne používate. Natrénované váhy zostávajú nemenné a váš vstup prejde sieťou raz (pri generovaní textu raz pre každý vygenerovaný token), aby vznikol výstup.
Inferencia je oveľa lacnejšia než trénovanie, no pri stovkách miliónov používateľov si stále vyžaduje veľké dátové centrá. Poskytovatelia preto ponúkajú modely rôznych veľkostí: malé a rýchle modely na jednoduché úlohy a väčšie modely či modely na uvažovanie na náročné problémy.
Ako fungujú veľké jazykové modely
Veľké jazykové modely (LLM), ako sú OpenAI GPT, Anthropic Claude, Google Gemini a modely s otvorene dostupnými váhami, napríklad Llama, Mistral, Qwen či DeepSeek, vznikajú v niekoľkých fázach.
Tokeny a embeddingy
Text sa rozdelí na tokeny a každému tokenu sa priradí embedding: dlhý zoznam čísel, ktorý zachytáva jeho význam. Slová s podobným významom majú podobné embeddingy.
Architektúra Transformer a mechanizmus pozornosti
Architektúra Transformer, predstavená v roku 2017, využíva mechanizmus nazývaný pozornosť. Pri každom tokene určuje, ktoré ďalšie tokeny v kontexte sú najdôležitejšie. Model tak dokáže priradiť zámeno k správnemu podstatnému menu alebo otázku k relevantnej časti dlhého dokumentu.
Predtrénovanie
Model spracuje obrovské množstvo textu a učí sa predpovedať ďalší token. Aby to zvládol dobre, musí si osvojiť gramatiku, fakty, spôsoby uvažovania aj vzorce používané pri programovaní.
Následné trénovanie
Model po samotnom predtrénovaní iba pokračuje v texte. Trénovanie na pokynoch, posilňovacie učenie zo spätnej väzby od ľudí (RLHF) a podobné metódy ho učia riadiť sa pokynmi, viesť rozhovor, odmietať škodlivé požiadavky a priznať neistotu.
Kontext a nástroje
Pri inferencii má model k dispozícii kontextové okno s vaším rozhovorom, pokynmi a niekedy aj vyhľadanými dokumentmi. Generovanie s podporou vyhľadávania (RAG) a vyhľadávanie na webe mu poskytujú aktuálne fakty, ktoré sa počas trénovania nenaučil.
Modely zamerané na uvažovanie a AI agenti
Od roku 2024 zmenili praktické fungovanie pokročilej AI dva významné pokroky.
Modely na uvažovanie sa trénujú, často pomocou posilňovacieho učenia, aby pred konečnou odpoveďou prešli problém v niekoľkých krokoch. Viac výpočtového výkonu pri tvorbe odpovede zvyčajne zlepšuje výsledky v matematike, vede, programovaní a plánovaní. Väčšina veľkých poskytovateľov už ponúka režimy uvažovania alebo „premýšľania“.
AI agenti používajú model v opakujúcom sa cykle: naplánujú postup, vykonajú akciu pomocou nástroja, vyhodnotia výsledok a plánujú znova. Medzi nástroje môže patriť prehliadanie webu, spúšťanie kódu, úprava súborov či iný softvér. Agenti dokážu plniť úlohy s viacerými krokmi, no stále potrebujú jasné ciele, oprávnenia a ľudskú kontrolu.
Systémy s viacerými agentmi idú ešte ďalej a umožňujú rôznym AI rolám spolupracovať alebo medzi sebou argumentovať. Výskum „AI debát“ naznačuje, že vzájomná kritika modelov môže odhaliť chyby, ktoré by jediný model prehliadol.
Čo to znamená pri každodennom používaní
Keď viete, ako AI funguje, môžete ju používať lepšie.
- Poskytnite kontext. Model pozná len to, čo obsahovali jeho tréningové dáta a čo uvediete vo svojom zadaní.
- Pri dôležitých faktoch si vyžiadajte zdôvodnenie a zdroje, potom si ich overte.
- Na zložité problémy použite model na uvažovanie, na rýchle návrhy rýchly model.
- Porovnávajte pohľady. Rôzne modely trénované na rôznych dátach môžu dospieť k odlišným záverom.
Debatly vám porovnávanie uľahčuje: niekoľko AI postáv debatuje o vašej otázke a AI rozhodca zhrnie, kto argumentoval najlepšie a prečo. V tej istej aplikácii môžete aj priamo chatovať s najnovšími modelmi od OpenAI, Anthropic a Google.