Cohere zrychluje obsluhu modelu jedním „megajádrem“. Optimalizace softwaru má snížit cenu inference

Cohere se v technickém článku zaměřuje na část AI, která je pro firemní ekonomiku často důležitější než další bod v kvalitativním srovnání: efektivitu obsluhy modelu. Jeho „megajádro“ slučuje mnoho kroků dekódování modelu North Mini Code do jednoho velkého programu běžícího na grafickém procesoru. Cílem je omezit prodlevy mezi jednotlivými jádry a lépe využít paměťovou propustnost. Autoři shrnují princip slovy: „Správná otázka je, jak účinně využijeme paměťovou propustnost.“ V testu na jednom čipu Nvidia H100 Cohere porovnalo svůj systém s vLLM 0.24. Při dávce osmi požadavků a reálném rozložení expertů bylo megajádro 1,32krát rychlejší; při uměle rovnoměrném rozložení 1,14krát. Výsledek ukazuje, že skutečný provoz modelu typu mixture-of-experts může těžit z toho, že požadavky často aktivují podobné části sítě. Test je však úzce vymezený na dekódování a konkrétní model, takže jej nelze bez dalšího převést na obecné tvrzení o všech úlohách. Výrobce otevřeně uvádí i omezení. Současná verze nepodporuje společné zpracování počáteční fáze a dekódování, maximální velikost dávky je osm a počáteční zpracování vstupu stále používá běžná jádra PyTorch. To je důležitý detail pro nákupčí infrastruktury: rychlejší dílčí fáze nemusí znamenat stejné zrychlení celé služby. Záleží na délce vstupů, délce odpovědí, počtu souběžných uživatelů a rozložení skutečné zátěže. Pro podnikové provozovatele AI je zpráva zajímavá hlavně ekonomicky. Pokud lze na stejném hardwaru obsloužit více požadavků, klesá cena jedné odpovědi a oddaluje se potřeba nákupu dalších akcelerátorů. U velkého objemu může softwarová optimalizace ušetřit podobně jako levnější čip. Firmy by proto neměly porovnávat pouze pořizovací cenu hardwaru, ale celkové náklady na milion tokenů při své konkrétní zátěži, včetně energie, nevyužité kapacity a provozního softwaru. Širší dopad je strategický. Trh AI infrastruktury se nebude rozhodovat jen mezi výrobci čipů, ale také mezi obslužnými vrstvami, kompilátory a knihovnami, které dokážou hardware vytížit. Optimalizace těsně svázaná s jedním modelem může přinést vysoký výkon, současně však zvýšit náklady na změnu modelu. Podnik by proto měl vedle rychlosti měřit přenositelnost a náklady na údržbu. Nejlevnější inference dnes nemusí být nejlevnější architektura po dvou letech změn. Pro finanční řízení AI je proto vhodné zavést provozní zkoušku na vlastních datech. Dodavatelský benchmark ukáže technologický potenciál, ale neodpoví na otázku, zda převládají dlouhé vstupy, krátké odpovědi nebo špičkové souběhy. Teprve profil skutečné zátěže umožní vybrat vhodné jádro, velikost dávky a hardware. Optimalizace inference se postupně stává samostatnou disciplínou řízení nákladů, podobně jako optimalizace cloudové infrastruktury. KLÍČOVÉ POJMY Inference: Fáze, kdy již natrénovaný model zpracovává vstup a vytváří odpověď. Výpočetní jádro: Program provádějící konkrétní operaci na grafickém procesoru. Paměťová propustnost: Množství dat, které lze za určitou dobu přesunout mezi pamětí a výpočetní částí čipu. Dávka: Počet požadavků zpracovávaných systémem současně.

Cohere zrychluje obsluhu modelu jedním „megajádrem“. Optimalizace softwaru má snížit cenu inference

Celé znění článku máte k dispozici po registraci na Abravito