Gartner: Firemní směrnice agenta nezastaví. Do roku 2029 čeká vážný incident 70 procent organizací

Gartner 24. září upozornil na rozdíl mezi správou tradiční AI a autonomních agentů. Podnikové zásady, schvalovací výbory a dokumentace mohou určit, co systém dělat má. Samy však fyzicky nezabrání agentovi, aby během provozu provedl chybnou operaci. Agent se od běžného chatovacího nástroje liší tím, že může vykonávat vícekrokové pracovní postupy, měnit stav systémů a jednat strojovou rychlostí. Právě zde podle Gartneru vzniká mezera mezi řízením na papíře a řízením v okamžiku provádění. Autonomní pracovní postupy používají pravděpodobnostní rozhodování. Mohou proto vyvolat provozní poruchu, uskutečnit nepovolený nákup, spotřebovat nadměrné množství placených jednotek modelu nebo nekontrolovaně využívat jiné podnikové zdroje. Gartner předpovídá, že do roku 2029 nejméně 70 procent organizací s autonomní AI nasazenou v produkční infrastruktuře a provozu zaznamená závažný incident v oblasti služeb, bezpečnosti nebo nákladů, k němuž částečně přispěje nedostatečná kontrola za běhu systému. George Spafford z Gartneru problém shrnuje tím, že „psaná podniková pravidla nemohou fyzicky zastavit agenta před destruktivní chybou“. Důsledkem je změna architektury kontroly. Nestačí před nasazením ověřit model a zaměstnancům vydat pravidla. Firma potřebuje technické hranice platné při každé operaci: jaké systémy agent smí otevřít, které údaje smí číst, kolik peněz může utratit, kolik výpočetních prostředků spotřebovat a kdy musí činnost zastavit nebo předat člověku. Tento problém se objevuje právě ve chvíli, kdy agenti získávají přístup k finančním systémům, infrastruktuře, vývoji programů nebo zákaznickým účtům. Chybná odpověď chatovacího nástroje může poškodit jeden dokument. Chybný agent může stejnou logiku použít v tisících operací dříve, než si problému někdo všimne. Rychlost, která vytváří ekonomický přínos, tak současně násobí možné škody. Gartner o den dříve upozornil na širší bezpečnostní důsledky nekontrolovaného rozšiřování agentů. Do roku 2028 má zneužití neřízených AI agentů přispívat ke čtvrtině podnikových bezpečnostních průniků. Analytici proto zmiňují řízení založené na nulové důvěře a vypínače určené přímo jednotlivým agentům. Pro finanční řízení je důležitá i spotřeba. Autonomní systém může spustit mnoho volání modelu nebo dalších služeb, aniž zaměstnanec každou operaci schválí. Náklad se proto může vymknout kontrole stejným způsobem jako bezpečnostní oprávnění. Rozpočtový limit se musí stát technickým pravidlem, ne pouze měsíční kontrolou faktury. Firma by proto měla každému agentovi přidělit vlastní digitální identitu, přesně omezená oprávnění, limity spotřeby a auditní záznam. Musí také existovat technická možnost okamžitě jeho činnost přerušit. Obchodní závěr je nepříjemný, ale praktický: čím autonomnější systém firma chce, tím více musí investovat do infrastruktury, která jeho autonomii omezuje. Bez ní může úspora lidské práce vytvořit nepřiměřené provozní a finanční riziko. KLÍČOVÉ POJMY Kontrola za běhu: Technické omezení, které se uplatňuje přímo během provádění jednotlivých akcí systému. Digitální identita agenta: Samostatná identita umožňující přesně řídit a zaznamenávat oprávnění autonomního systému. Vypínač agenta: Mechanismus umožňující okamžitě zastavit autonomní systém při podezřelém nebo nebezpečném chování.

Gartner: Firemní směrnice agenta nezastaví. Do roku 2029 čeká vážný incident 70 procent organizací

Celé znění článku máte k dispozici po registraci na Abravito