NVIDIA tvrdí, že průběžné doučování agentů se stane hlavní výpočetní zátěží

NVIDIA popsala průběžné doučování jako jednu z hlavních budoucích zátěží datových center. Tradiční model vznikne počátečním učením na velkém souboru dat a následným přizpůsobením. U agentů však úpravy nekončí uvedením do provozu, protože se mění programy, pravidla, databáze i typy chyb. Výrobce používá pojem „inteligence za dolar“. Vedle ceny jednoho milionu tokenů má zachytit také náklady na vytvoření a průběžné zlepšování modelu. Pokud agent po změně firemního programu přestane správně pracovat, organizace musí shromáždit nové příklady, provést další učení a znovu otestovat celý postup. NVIDIA tvrdí, že počáteční učení dává modelu především jazykovou plynulost. Schopnost programovat, plánovat několik kroků, používat vyhledávač nebo se zotavit z chyby vzniká převážně při následném trénování. Jde o zjednodušené marketingové rozdělení, ale dobře ukazuje rostoucí význam dat získaných z reálného provozu. Článek používá jako příklad otevřený model Nemotron 3 Ultra s 550 miliardami parametrů a architekturou směsi odborných podsítí. Model podle NVIDIA dosáhl 71,7 procenta v testu SWE-bench Verified. Vytvořil tedy funkční opravu přibližně u sedmi z deseti chyb převzatých ze skutečných veřejných programových projektů. Platforma Vera Rubin má podle výrobce zvládnout následné učení největších modelů se čtvrtinou grafických procesorů ve srovnání s generací Blackwell. NVIDIA však v článku neuvádí úplnou metodiku pro všechny možné sestavy, ceny elektřiny ani pořizovací náklady. Údaj proto nelze automaticky převést na čtyřnásobnou úsporu celého projektu. Úspora hardwaru může být významná zejména při posilovaném učení, kdy model opakovaně zkouší úlohu, dostává hodnocení a vytváří nové pokusy. NVIDIA uvádí ilustrativní scénář s 20 miliardami tokenů v těchto pokusech. Číslo odvozuje od přibližně 1,2 milionu běhů dřívějšího modelu Nemotron 3 Super. „Náklad na token měří provozní výtěžnost,“ uvádí NVIDIA. „Inteligence za dolar“ má podle ní odpovědět, kolik stojí vytvořit model, který má smysl provozovat. Jde o užitečné rozlišení, současně ale o argument pro nákup celé výpočetní platformy jednoho výrobce. Podniky budou muset řešit, komu patří data z následného učení. Agent může během provozu narazit na smlouvy, interní kód, osobní údaje nebo obchodní tajemství. Pokud se tyto příklady použijí k úpravě modelu, firma potřebuje jasné podmínky oddělení dat, uchovávání a možnosti model později odstranit. Průběžné učení přináší také problém ověřování. Po každé změně se může zlepšit jeden typ úloh a zhoršit jiný. Organizace proto nesmí měřit pouze průměrné skóre. Potřebuje stálou sadu kritických případů, u nichž se kontroluje bezpečnost, právní soulad a možnost nevratné škody. Z účetního pohledu se umělá inteligence posouvá od jednorázového projektu k trvalému provoznímu nákladu. Firma neplatí pouze za pořízení modelu a integraci, ale také za nové příklady, hodnocení, výpočetní běhy a opakované schvalování. To může změnit ekonomiku projektů, které v prvním návrhu počítaly jen s cenou běžných odpovědí.

NVIDIA tvrdí, že průběžné doučování agentů se stane hlavní výpočetní zátěží

Celé znění článku máte k dispozici po registraci na Abravito