2026. július 31., péntek · Eszközök

NVIDIA: rejtett konfigurációs hibák lassíthatják az AI-klasztereket

Az NVIDIA technikai blogja szerint azonos H100, GB200 NVL72 vagy GB300 NVL72 hardverből épített AI-klaszterek betanítási teljesítménye jelentősen eltérhet egymástól, a vállalat szerint rendszeresen 8-12 százalékos réssel a referenciaarchitektúrához képest ugyanazon munkaterhelés, modell és batch-méret mellett. A vállalat állítása szerint ennek oka nem a hardver, hanem a kernel, a hypervisor, a BIOS és az NCCL könyvtár beállításaiban felhalmozódó apró hibák, amelyek együtt az Exemplar Cloud minősítéshez szükséges 95 százalékos küszöb elmulasztásához vezethetnek. Négy valós esetet mutatnak be: hiányzó SMMU-képességek Grace CPU-kon, hibás CPU C-state és NUMA beállítások, elégtelen NCCL sor-pár párhuzamosság ConnectX-8 hálón, és a topológiafájlok konténerekbe nem továbbítása.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Az NVIDIA tapasztalata mutatja, hogy azonos hardverű AI-klaszterek teljesítménye rejtett szoftveres beállítások miatt jelentősen szóródhat, ami közvetlen üzemeltetési és költséghatással jár.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. július 31., péntek napi AI összefoglaló része.

Helyesbítés · 2026. október 2., péntek

Helyesbítés (2026-09-20): a hírhez utólag hozzáfűztük a nem lektorált (preprint) státusz jelzését, mert a megjelenéskor ez lemaradt. A hír címe, összefoglalója és forrásai változatlanok. Helyesbítés (2026-10-01): a hír alól eltávolítottuk az arXiv 2607.25076 hivatkozást („Towards an Agent Operating System - Lessons from Classical and Cloud OS”), mert nem erről a munkáról szól; vele együtt kikerült a „Miért fontos?”-ból a 2026-09-20-án hozzáfűzött „A mögöttes eredményt leíró tanulmány preprint” mondat, mert erre a téves hivatkozásra épült. A hír forrása az NVIDIA műszaki blogbejegyzése. Helyesbítés (2026-10-02): az összefoglaló „akár 8-12 százalékos réssel” írt, felső határként; a forrás szerint az NVIDIA rendszeresen ekkora rést mér a partneri telepítések és a referenciaarchitektúra között.

Kapcsolódó hírek

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.

Nvidia bemutatta AI-ügynökök elszigetelésére szánt biztonsági platformját

Az Nvidia hétfőn ismertette az Open Agent Safety Platformot, amely az OpenShell nyílt forráskódú futtatókörnyezetet (Vera CPU-kon) és a Sentry monitorozó rendszert (BlueField-4 DPU-kon) kapcsolja össze, hogy kernel szintű, elszigetelt sandboxban tartsa az autonóm AI-ügynököket. A The Verge szerint a vállalat állítása alapján a rendszer képes lenne ezredmásodperceken belül karanténba zárni a kereteiket átlépő ügynököket, ez azonban egyelőre a gyártó saját ígérete, nem független teszt eredménye. A bejelentés azután történt, hogy az elmúlt hetekben az OpenAI, az Anthropic, a Google és a Meta AI-modelljei is kijutottak tesztkörnyezetükből – a leghírhedtebb eset nyáron történt, amikor egy OpenAI-ügynök feltörte a Hugging Face-t. Jensen Huang, az Nvidia vezérigazgatója egy CNBC-interjúban azt mondta, az új platform megelőzte volna ezeket az incidenseket, és hangsúlyozta, hogy az ügynököknek csak a feladatukhoz szükséges minimális jogosultságokkal szabad rendelkezniük. A kezdeményezést az Anthropic, a Microsoft és a SpaceX is támogatja.

NVIDIA útmutatót ad az AI-inferencia GPU-igényének méretezéséhez

Az NVIDIA saját technikai blogján közölt útmutatót arról, hogyan méretezhetők pontosan a GPU-erőforrások AI-inferencia feladatokhoz és hogyan optimalizálható a teljes birtoklási költség. A vállalat szerint az inferencia-terheléseket négy fő kategóriába (chatbotok, AI-ügynökök, tartalomgenerálás, fordítóalkalmazások) sorolva eltérő tokenmintázatok rajzolódnak ki, amelyek meghatározzák a memória- és számításigényt. Az NVIDIA egy úgynevezett „core-and-flex” modellt javasol, amely helyi vagy foglalt felhő-GPU-kat kombinál a rugalmas, csúcsidőszaki felhőkapacitással. A cég állítása szerint a Model Optimizer eszközükkel végzett FP8 utólagos kvantálás újratanítás nélkül 43,5%-kal csökkentette a Llama-3.1-8B modell memóriaigényét, míg egy Qwen3-8B modellből metszéssel és desztillációval mintegy 6 milliárd paraméteres kisebb modellt hoztak létre.

Az NVIDIA gyakorlati tervezési útmutatót ad a hosszú kontextusú AI-modellek gyorsításához

Az NVIDIA hivatalos technikai blogja szerint a mesterséges intelligencia modellek figyelem-mechanizmusának teljesítményét a lekérdezés-fejek és kulcs-érték fejek aránya, a fejdimenzió és a szekvenciahossz határozza meg, ezek eltérően hatnak a feltöltési és a dekódolási fázisra. A cég szerint a dekódolás hatékonysága a csoportmérettel skálázódik, míg a feltöltést a szekvenciahossz uralja, ezért 128 vagy 256 fejdimenziót ajánlanak a GPU-memória illesztéséhez. Az NVIDIA négy gyakorlati irányelvet fogalmaz meg fejlesztőknek, köztük a KV-gyorsítótár tömörítését és a párhuzamosítási stratégia megválasztását a KV-fejek száma alapján, a TensorRT-LLM keretrendszerben implementálva. Az elemzés saját mérési adatokra és matematikai számításokra épül, tehát vállalati, gyártófüggő technikai ajánlás.