OpenAI zrychluje GPT-5.6 až čtrnáctkrát a míří na úlohy, kde rozhodují sekundy

Výkon jazykových modelů se dosud často posuzoval podle kvality odpovědi a ceny. OpenAI 13. srpna přidala třetí parametr: čas. Nová služba Ultrafast má provozovat GPT-5.6 Sol až čtrnáctkrát rychleji než standardní režim a generovat až 750 výstupních tokenů za sekundu. Firma režim spouští nejprve v omezeném přístupu přes své programové rozhraní a výpočetní část zajišťuje Cerebras. Technologicky jde o významný posun, protože vývojáři dosud při požadavku na velmi nízkou odezvu často volili menší model. Ultrafast má umožnit použít stejný výkonný model i tam, kde musí systém reagovat téměř okamžitě. OpenAI uvádí například analýzu logů při výpadku služby, vyhodnocování podezřelých finančních transakcí, hlasovou podporu nebo elektronický obchod, kde několik sekund čekání může rozhodnout o dokončení nákupu. Zajímavý je dopad na konstrukci samotného produktu. Generativní AI se v běžné kancelářské práci může odehrávat desítky sekund nebo minut, protože uživatel čeká na dokončení dokumentu. V zákaznickém hovoru nebo při incidentu však musí systém reagovat současně s člověkem. Pokud model během hovoru prohledává několik systémů, kontroluje objednávku a navrhuje řešení, každé zdržení se projeví přímo v komunikaci se zákazníkem. OpenAI popisuje obdobný efekt ve výzkumu. Dávku experimentů, kterou tým spustí večer a zpracuje ráno, může rychlejší model přiblížit interaktivní práci: výzkumník vyhodnotí výsledek, upraví hypotézu a během stejného pracovního dne provede několik dalších kol. V provozním řízení lze obdobně zkrátit interval mezi nalezením signálu, vytvořením hypotézy a ověřením zásahu. Firma zatím nezveřejnila obecný ceník ani termín plné dostupnosti. To je pro ekonomické hodnocení zásadní. Čtrnáctinásobná rychlost nemusí automaticky znamenat čtrnáctinásobnou produktivitu. V mnoha procesech je úzkým místem člověk, databáze nebo externí systém. Největší přínos proto pravděpodobně vznikne tam, kde čekání na model skutečně blokuje další krok. Podium například Ultrafast testuje v hlasových službách. Produktový vedoucí Courtland Lykins uvedl: „The speed completely changes the call experience for the more complex work.“ Rogo zase uvádí, že komplexní finanční výzkum se díky nižší odezvě začíná podobat interaktivní práci v reálném čase. Pro podniky tak vzniká další parametr při výběru modelu. Vedle ceny za token a kvality odpovědi bude nutné počítat ekonomickou hodnotu jedné sekundy čekání. U automatizovaného zpracování dokumentů může být téměř nulová. U zákaznické linky, obchodní transakce nebo řešení bezpečnostního incidentu může být naopak vysoká. Pojmy k vysvětlení Latence: Doba mezi odesláním požadavku a obdržením odpovědi systému. Cerebras: Výrobce specializovaných výpočetních systémů určených mimo jiné pro provoz velkých modelů AI. API: Programové rozhraní umožňující jiným aplikacím automaticky komunikovat se službou nebo modelem.

OpenAI zrychluje GPT-5.6 až čtrnáctkrát a míří na úlohy, kde rozhodují sekundy

Celé znění článku máte k dispozici po registraci na Abravito