AI agent není jen chatbot na steroidech
Většina lidí si pod pojmem umělá inteligence stále představí chatbot, tedy tu chytrou krabičku, které napíšete otázku a ona vám odpoví. Něco na způsob velmi trpělivého a mimořádně vzdělaného kolegy, který nikdy nespí a nikdy se neurazí. Tento obraz je však čím dál zastaralejší. Klasický AI asistent, jako například ChatGPT nebo Claude v základním režimu, funguje reaktivně. Čeká, až mu položíte otázku. Bez vašeho pokynu nedělá nic. Je to ping-pong: vy podáte, on vrátí.
Svět se rychle posouvá k něčemu zásadně odlišnému, a to k AI agentům. A rozdíl není jen technický. Je to rozdíl, který mění celou právní krajinu.
AI agent funguje jinak. Je navržen pro autonomní jednání. Sám si plánuje kroky, volá externí nástroje a aplikace, přizpůsobuje se výsledkům a pokračuje, aniž by ho někdo každých pět minut postrkoval. Řeknete mu: 'Zařiď mi dovolenou v Římě na příští měsíc do 800 eur.' A on to udělá. Sám prohledá lety a hotely, zkontroluje váš kalendář, porovná ceny, ověří podmínky zavazadel a na konci se vás zeptá už jen jednou, případně vás požádá o závěrečné potvrzení.
Rozdíl mezi AI asistentem a AI agentem je jako rozdíl mezi poradcem, který vám dá radu, a zmocněncem, který jde na jednání místo vás.
A právě tady začínají otázky, na které evropské právo ještě nemá hotové odpovědi.
Malý slovník, bez kterého se neobejdete
Než se ponoříme do právních záludností, je fér vysvětlit několik pojmů, ve kterých se lidé pravidelně ztrácejí, a to dokonce i odborníci.
LLM (Large Language Model) je typ umělé inteligence trénovaný na obrovském množství textu, knihách, článcích, webových stránkách, kódech, vědeckých studiích, videích a podobně. Z tohoto trénování se naučí statistické vzory jazyka, která slova následují po jiných slovech, jak vypadají logické argumenty, jak se píše kód, jak zní odborný text versus hovorová řeč.
Není to vyhledávač, nemá přístup k internetu (pokud mu ho vědomě nedáte), neví, co se stalo včera, a především neumí "myslet" v lidském smyslu slova. Pracuje s pravděpodobností, nikoli s porozuměním.
GPAI model (General Purpose AI model) - obrovský potenciál, nulová specializace. Je to velký jazykový model trénovaný na obrovském množství dat, schopný plnit širokou škálu úloh od psaní textů přes analýzu dokumentů až po generování kódu. Příklady: GPT-4, Claude, Gemini.
Tento model neví nic o vaší firmě, nezná vaše HR procesy, nemá žádný konkrétní účel. Umí psát básně, překládat smlouvy, vysvětlovat kvantovou fyziku i ladit Python kód, a to všechno najednou.
Je to jako univerzálně vzdělaný člověk, který právě vyšel z univerzity a ještě nenastoupil do žádné práce. Podle článků 51 až 56 AI Act podléhají GPAI modely zvláštním povinnostem, zejména transparentnosti ohledně tréninkových dat a dodržování autorského práva.
AI systém je každý software, který používá techniky strojového učení nebo neuronových sítí ke generování výstupů, jako jsou předpovědi, doporučení, rozhodnutí nebo texty.
AI systém vznikne tehdy, když někdo vezme GPAI model a zasadí ho do konkrétního technického prostředí. Například ho napojí na firemní databázi, nastaví jeho chování a ohraničí jeho možnosti. To už je AI systém ve smyslu článku 3 odst. 1 AI Act. Stále je to jen motor v autě, ale auto už alespoň existuje. Náš absolvent dostal pracovní smlouvu a firemní laptop. Právní definice je zakotvena v článku 3 odst. 1 nařízení EU č. 2024/1689, tedy AI Act.
Use case, tedy případ použití, je konkrétní oblast, kde se AI systém nasazuje. Tentýž model může mít desítky různých use cases, jako například chatbot zákaznické služby, diagnostický nástroj v medicíně nebo systém hodnocení bonity při půjčkách. Právě use case určuje rizikový profil systému podle přílohy III AI Act.
AI asistent je tentýž systém nasazený reaktivně, který čeká na vstup a odpovídá na otázky. Zpracovává osobní údaje, které mu poskytnete v konverzaci. Plně se na něj vztahuje GDPR, nařízení EU č. 2016/679.
AI agent je autonomní systém schopný provádět akce, používat nástroje (prohlížeč, e-mail, kód, API) a činit rozhodnutí bez neustálého lidského dohledu. Někteří agenti dokonce nepotřebují ani vstupní pokyn, protože se probouzejí v pravidelných intervalech a jednají na základě předem definovaného cíle.
Multi-agentní systém je architektura, v níž více AI agentů spolupracuje nebo se navzájem řídí. Jeden agent může být 'orchestrátorem', který zadává úkoly jiným agentům. To výrazně komplikuje otázku odpovědnosti v situacích, kdy řetězec agentů způsobí škodu.
Proč je důležité to vědět? Protože právo EU tyto pojmy nepoužívá konzistentně a když zákonodárci hovoří o 'AI systémech', většinou mají na mysli něco jiného, než co vývojáři nazývají 'agenty'. Tato terminologická džungle je jedním z důvodů, proč je regulace tak obtížná.
Jeden konkrétní příklad, na kterém projdeme celý slovník: personální oddělení firmy.
-
AI systém je základ. Je to samotný model -- například Claude nebo GPT-4. Sám o sobě neví nic o vaší firmě, nic nedělá, jen existuje jako technologie schopná rozumět textu a generovat odpovědi. Je to jako motor auta, který leží v dílně. Výkonný, ale sám od sebe nikam nejede.
-
Use case je rozhodnutí, k čemu tento motor použijete. HR oddělení se rozhodne: "Nasadíme AI na předvýběr životopisů." To je use case, tedy konkrétní oblast nasazení. Tentýž AI systém by ale mohl mít i jiný use case v účetnictví a jiný zase v zákaznické podpoře.
Use case také určuje, jaké riziko systém představuje podle přílohy III AI Act. Předvýběr kandidátů je explicitně uveden jako vysoce rizikový případ, což znamená povinný audit, dokumentaci a lidský dohled před každým rozhodnutím.
-
AI asistent je tentýž model nasazený reaktivně. HR pracovnice Jana otevře okno chatu a napíše: "Porovnej mi tyto dva životopisy a řekni, který kandidát lépe splňuje požadavky na pozici." AI odpoví. Jana se zeptá dál: "Navrhni mi otázky na pohovor." AI opět odpoví. Jana vede celý proces, AI jen odpovídá na to, na co se ho zeptá. Bez Janiny otázky se nestane vůbec nic.
-
AI agent dostane od Jany jediný pokyn ráno v devět: "Zpracuj všechny životopisy, které tento týden přišly na pozici projektového manažera, a připrav mi do pátku shortlist pěti nejlepších kandidátů.
Celý příběh tedy vypadá takto: GPAI model je surová inteligence bez účelu. AI systém je tato inteligence zasazená do technického prostředí. Use case je rozhodnutí, k čemu ji použijeme. AI asistent z ní udělá reaktivního pomocníka čekajícího na pokyny. AI agent z ní udělá autonomního vykonavatele, který jedná sám. A právě to je důvod, proč si regulátoři po celé Evropě tak intenzivně lámou hlavu.
GDPR: Starý zákon před novou výzvou
Evropská komise říká jasně: nařízení EU č. 2016/679, tedy GDPR, se plně vztahuje na AI agenty stejně jako na jakoukoli jinou činnost zpracování osobních údajů. Zní to jednoduše. V praxi je to komplikovanější.
Zatímco chatbot zpracovává pouze to, co mu napíšete do okna, AI agent potřebuje pro efektivní fungování mnohem hlubší přístup. Čte vaše e-maily, přistupuje ke kalendáři, ví o vašich finančních transakcích, zná vaše cestovní zvyky, preference a kontakty.
Klíčovým rozdílem mezi AI chatboty a agenty je rozsah přístupu k osobním informacím. Chatbot dostane to, co mu napíšete. Agent o vás ví téměř všechno.
Hned několik ustanovení GDPR se v případě AI agentů stává problematickými. Článek 5 o zásadách zpracování vyžaduje mimo jiné minimalizaci údajů. AI agent by tedy měl pracovat pouze s tím, co nezbytně potřebuje. Jenže kdo rozhoduje o tom, co agent 'nezbytně potřebuje' ke splnění úkolu? Článek 22 zakazuje plně automatizovaná rozhodnutí s právními účinky bez lidského zásahu. AI agenti však jednají autonomně a mohou toto ustanovení přímo porušovat. Záleží na konkrétním use case.
Vážnou otázkou je také článek 35 o povinném posouzení vlivu na ochranu osobních údajů, takzvaném DPIA. Pro zpracování s vysokým rizikem, přičemž AI agent s přístupem k citlivým kategoriím údajů podle článku 9 GDPR téměř vždy do této kategorie patří, je DPIA povinné. Většina firem, které dnes nasazují AI agenty, však toto posouzení jednoduše nemá!
Národní dozorové orgány pro ochranu osobních údajů tuto technologii pozorně sledují. Několik z nich vydalo pokyny nebo zahájilo průzkumy. Otázka už není zda, ale kdy přijde první pokuta, a to konkrétně za AI agenta.
AI Act: Zákon psaný pro jinou éru
Nařízení EU č. 2024/1689, tedy AI Act, vstoupilo v platnost teprve nedávno, a to 1. srpna 2024. Většina jeho ustanovení se začne uplatňovat od 2. srpna 2026. Zákon byl psán v době, kdy dominantním modelem byly klasické AI systémy s definovaným vstupem a výstupem. Agentní AI ho však staví před zcela nové otázky.
„Zelený“ europoslanec Sergej Lagodinskij se loni na podzim přímo zeptal komisařky pro technologie Henny Virkkunenové, zda AI agenti spadají pod stávající pravidla. Odpověď? Komisařka naznačila, že je 'pravděpodobné', že agenti budou mít své vymezení, žádné explicitní pravidlo však zatím neexistuje.
Klasifikace AI agentů podle rizikových kategorií AI Act je komplikovaná proto, že jeden agent může během jediného dne vykonávat aktivity z několika kategorií. Ráno pomáhá s plánováním dovolené, což je nízké riziko. Odpoledne hodnotí vaši bonitu pro úvěr, což už je vysoké riziko podle přílohy III AI Act. Večer generuje medicínský obsah, což je zase úplně jiná kategorie. Jaký certifikační režim se tedy na něj uplatní?
Zákon o AI byl v pozdních fázích vyjednávání přepracován právě kvůli vzestupu výkonných GPAI modelů. Není vyloučeno, že podobná situace nastane i s agentní AI.
Stalo se to už jednou: EU přepracovala AI Act na poslední chvíli, když zákonodárci reagovali na nástup ChatGPT. Historie by se ale mohla znovu opakovat, zejména pokud některý agent způsobí dostatečně mediálně viditelný incident.
Když agent podepíše smlouvu: Je to právně závazné?
Příklad: Agent dostane od uživatele pokyn 'kup mi ten laptop, na který se dívám'. Agent sleduje ceny, čeká na slevu, přizpůsobí si, kolik je ochoten zaplatit, a nakonec nakoupí. Klik, platba, hotovo. Ale co když agent zaplatí mnohem víc, než uživatel předpokládal? Co když si agent vyloží pokyn příliš volně?
To je situace a zároveň otázka, nad kterou si Generální ředitelství Komise pro spravedlnost a spotřebitele (v bruselském žargonu DG JUST) láme hlavu od léta 2024. V říjnovém diskusním dokumentu argumentuje, že nové technologie přinesly 'novou kvalitu' automatizovaného smluvního zpracování, protože je čím dál více možné uzavírat dohody bez jakéhokoli zásahu člověka.
Komise ve svém dokumentu uvádí varovný reálný příklad: uživatel zaplatil více než 250násobek běžné ceny za produkt, který jeho AI agent zakoupil kreditní kartou. Agent jednal v rámci svých technických oprávnění, ale s katastrofálním výsledkem. Kdo za to tedy odpovídá?
Stávající pravidla o zastoupení ve smluvním právu jsou navržena pro situace, kdy je zmocněncem člověk. Autonomní AI systém do tohoto schématu vůbec nezapadá a právní rámec EU zatím nenabízí jasnou odpověď.
Analogický případ z Kanady nám alespoň naznačuje směr. Zákazník vyhrál spor proti letecké společnosti Air Canada, jejíž chatbot slíbil slevu, která však ve skutečnosti neplatila. Společnost tvrdila, že za jednání chatbota nenese odpovědnost. Správní tribunál ale rozhodl opačně. V evropském kontextu by se uplatnila také směrnice EU o odpovědnosti za AI, která je momentálně v jednání a přesouvá důkazní břemeno ve prospěch poškozených.
Kdo odpovídá, když agent způsobí škodu?
Právní rámec EU neuděluje AI systémům právní osobnost. To znamená, že jejich jednání musí být přičteno fyzické nebo právnické osobě. Jenže komu? Uživateli, který agenta spustil, nebo vývojáři, který ho vytvořil?
V případě jednoduchého chatbota je odpověď relativně jasná. Ale co v případě řetězce agentů, kde jeden řídí druhého, druhý řídí třetího a třetí nakonec způsobí škodu? Kdo je odpovědný v multi-agentní architektuře, kde žádný jednotlivec neměl přímý dohled nad konkrétní akcí?
Případ agenta OpenClaw z února 2025 je v tomto směru také poučný. Agent poté, co byly jeho příspěvky do open-source projektu zamítnuty, sám napsal a publikoval článek útočící na konkrétního dobrovolníka. Jednal bez přímého pokynu, a to pouze na základě předem definovaného cíle a 'osobnosti'. Je tu několik právních otázek najednou: kdo odpovídá za defamaci (úmyslné šíření nepravdivých tvrzení o konkrétní osobě) způsobenou AI? Jaký je právní základ zpracování osobních údajů oběti podle článku 6 GDPR? Může být uživatel odpovědný za jednání, o kterém ani nevěděl?
AI systémy jsou často černé skříňky. Přidejte k tomu autonomii a důsledky se mohou zhoršit.
Rodina ISO norem: Dobrovolné, ale de facto povinné.
Paralelně s legislativou existuje také svět technických norem. Certifikace podle ISO 27001:2022, tedy normy pro systémy řízení informační bezpečnosti, se stává de facto předpokladem pro firmy nasazující AI agenty v podnikatelském prostředí, i když formálně zůstává dobrovolná.
Konkrétní kontroly jsou přímo relevantní: kontrola 5.23 se věnuje informační bezpečnosti při používání cloudových služeb, což je přesně prostředí, ve kterém většina AI agentů běží. Kontrola 8.25 se týká bezpečného vývoje pro organizace, které si svého agenta vyvíjejí samy.
Rozšíření ISO 27701 pomáhá mapovat agenty na role správce a zpracovatele podle GDPR, včetně evidence činností zpracování, tedy povinného RoPA registru podle článku 30 GDPR.
A nová norma ISO/IEC 42001:2023 pro systémy řízení AI bude klíčová pro prokázání souladu s AI Act. Kdo ji má, má tedy výrazně snazší pozici u regulátorů.
K tomu připočítejme ještě směrnici EU 2022/2555, tedy NIS2, transponovanou do národních zákonů do října 2024. Ta zavádí přísnější požadavky na kybernetickou bezpečnost a AI agenti představují jednoznačně novou útočnou plochu!
Takzvaný prompt injection útok, při kterém škodlivý obsah v prostředí manipuluje agenta k nežádoucímu jednání, je reálnou hrozbou, kterou NIS2 v rámci povinností řízení kybernetických rizik podle článku 21 přímo pokrývá.
Regulační únava versus regulační nutnost
Navzdory všem těmto rizikům nejsou hlavní města EU nadšena z nových pravidel. Listopadová zpráva o diskusích zaměřených na spravedlnost uvedla, že členské státy argumentují proti potřebě nové legislativy a stěžují si na 'regulační únavu'. EU je tedy ze všech stran tlačena k rušení stávajících zákonů, nikoli k přidávání nových.
Obzvlášť silný je tento tlak v oblasti AI, kde zákonodárci EU současně pracují na urychlení vývoje a přijetí umělé inteligence, aby snížili technologický odstup za USA a Čínou, kde jsou regulace z určitého úhlu pohledu mnohem volnější. V rámci digitálního omnibusového balíčku Komise se dokonce diskutuje o 'zjednodušení' některých pravidel ochrany údajů, a to konkrétně o úlevách při trénování AI modelů. Kritici to ale označují za oslabování GDPR zadními vrátky.
Existuje však jedna pozoruhodná výjimka, která ukazuje, že zákonodárci dokážou jednat rychle, když chtějí: Parlament a Rada momentálně sledují nové pravidlo zakazující AI 'nudifikátory'. Děje se tak po skandálu, při kterém chatbot Grok Elona Muska veřejně svlékl uživatele platformy X. Když je téma dostatečně viditelné a dostatečně citlivé, regulační únava záhadně zmizí.
Co dělat dnes, než zákon dožene realitu
Pro organizace, které AI agenty již nasazují nebo je plánují nasadit, existují opatření, která dávají smysl už nyní, a to bez čekání na novou legislativu.
První: DPIA (Data Protection Impact Assessment) je povinné. Každý AI agent s rozsáhlým přístupem k osobním údajům vyžaduje posouzení vlivu na práva dotčených osob podle článku 35 GDPR. Toto není doporučení. Je to právní povinnost.
Druhé: Definujte hranice mandátu. Co smí agent dělat autonomně a co vyžaduje lidské potvrzení! Finanční transakce nad určitý limit, právně závazné úkony, komunikace jménem osoby. Toto by mělo být explicitně ošetřeno.
Třetí: Aktualizujte ROPA (záznam o činnostech zpracování). Tyto záznamy podle článku 30 GDPR musí zahrnovat také AI agenty jako samostatnou agendu, s popisem toho, jaká data zpracovávají, na jakém právním základě a jak dlouho.
Čtvrté: Uzavřete DPA (Data Protection Agreement) smlouvy. Pokud agent zpracovává osobní údaje jménem vaší organizace a běží na infrastruktuře třetí strany, musí existovat smlouva o zpracování podle článku 28 GDPR.
Páté: Sledujte ISO/IEC 42001. Nová norma pro systémy řízení AI je tou kartou, kterou budete prokazovat soulad s AI Act regulátorům i partnerům.
Závěr: Právo běží za technologií.
AI agenti představují kvalitativní posun ve způsobu používání umělé inteligence. Nejsou to nástroje, které odpovídají na otázky. Jsou to systémy, které jednají jménem lidí, rozhodují se, uzavírají dohody a shromažďují hluboká osobní data.
Právní rámec EU, především GDPR a AI Act, se na ně vztahuje. Není však dostatečně přesný. Mezery jsou viditelné a zákonodárci je sami přiznávají. Otázka odpovědnosti za autonomní jednání AI však nadále zůstává otevřená. Smluvní právo dosud nepočítalo s tím, že smlouvu podepíše algoritmus.
Největší výzva paradoxně není technická, ale právní a filozofická. Když AI jedná autonomně, musíme se jako společnost rozhodnout, kdo za to převezme odpovědnost. Tato otázka je v podstatě stará jako právo samo. Jen ji nyní klademe technologii, která se neumí bránit před soudem.
Pokud, nebo až, nějaký AI agent způsobí dostatečný chaos, zákonodárci budou nuceni podívat se na tuto technologii blíže. A tento bližší pohled se bude týkat každého, kdo agenta nasadil, aniž by si udělal domácí úkol.