OpenAI ukazuje, že nejdražší model už nemusí být nejlepší volbou pro celý AI proces

OpenAI 13. srpna zveřejnila praktický návod k nasazování modelové řady GPT-5.6, který je zajímavější svým ekonomickým poselstvím než samotným představením nové technologie. Dosavadní praxe často vedla firmy k tomu, aby na komplikované úlohy automaticky nasazovaly nejsilnější model s nejvyšší úrovní uvažování. OpenAI tvrdí, že u řady procesů už tato strategie přestává dávat finanční smysl. Výrazný příklad nabízí test BrowseComp zaměřený na vyhledávání obtížně dohledatelných informací. GPT-5.5 s nejvyšší úrovní uvažování dosáhl před třemi měsíci skóre 84,36 procenta za 33,27 dolaru. GPT-5.6 Luna dosáhla podle OpenAI skóre 84,04 procenta při nákladech 1,33 dolaru. Firma zároveň uvádí příklad společnosti Hypha, podle níž si Luna zachovala 98 procent přesnosti GPT-5.5 při extrakci dokumentů za osmnáctinu ceny. Z toho vychází nový způsob návrhu podnikových agentů. Není nutné, aby nejsilnější model četl každý dokument, filtroval každou tabulku a zpracovával každý mezivýsledek. Levnější model může provést extrakci nebo třídění dat a dražší model se zapojí až tam, kde je potřeba úsudek. Firma PlayerZero například uvádí, že nasazení Luny v jedné úloze snížilo náklady na inferenci o 64 procent, dobu odezvy o 90 procent a současně zvýšilo skóre F1 o pět bodů. Další úspory mají přinést změny architektury agentů. OpenAI umožňuje uchovávat předchozí uvažování, zkracovat dlouhý kontext, rozdělovat práci mezi více agentů a přesouvat deterministické operace do programu. Na testu ARC-AGI-3 dosáhl GPT-5.6 Sol se standardním prostředím 13,3 procenta. Po zapnutí uchovávání uvažování a zhušťování kontextu vzrostlo skóre na 38,3 procenta při přibližně šestkrát menším objemu výstupních tokenů. Model přitom zůstal stejný. Prakticky významné je také programové volání nástrojů. Pokud agent získá například stovku regulatorních podání, nemusí všechny mezivýsledky vkládat do jazykového kontextu. Může napsat program, který data seřadí, vyfiltruje a agreguje, a modelu předá jen položky vyžadující rozhodnutí. Společnost Rogo podle OpenAI dosáhla při finančním výzkumu stejné kvality hodnocení při o 21 procent nižším množství vstupních tokenů. Pro firmy z toho plyne změna při rozpočtování AI. Cena jednotlivého modelu je jen jedna část rovnice. Stejně důležitá je délka kontextu, počet opakovaných kroků, míra paralelizace a to, zda firma používá jazykový model i na práci, kterou může levněji provést běžný program. Pojmy k vysvětlení Inferenční náklady: Náklady vznikající při provozu již natrénovaného modelu a generování jeho odpovědí. Kontextové okno: Množství informací, které může model současně držet při zpracování konkrétní úlohy. Programové volání nástrojů: Postup, kdy model vytvoří program pro zpracování dat a neprovádí všechny mezikroky jazykovým uvažováním.

OpenAI ukazuje, že nejdražší model už nemusí být nejlepší volbou pro celý AI proces

Celé znění článku máte k dispozici po registraci na Abravito