2026. szeptember 3., csütörtök · Eszközök

NVIDIA bemutatja a modern CUDA eszköztárat: akár 300-szoros gyorsulás

Az NVIDIA hivatalos technikai blogja egy lépésről lépésre bemutatott optimalizálási példán keresztül ismerteti a modern CUDA eszköztárat egy képfeldolgozó pipeline-on. A vállalat állítása szerint a CCCL könyvtár modern indexelési modellje és a Compute Sanitizer segítségével kiszűrhetők a memóriahibák, a CUB algoritmusok bevezetése pedig a számítási időt 2,1 másodpercről 773 mikroszekundumra, azaz 2717-szeresére gyorsította képenként. Az NVIDIA szerint a pool-alapú memóriakezelés 2,6-szoros, a pinned host-memória pedig 10-szeres gyorsulást hozott az adatátvitelben, míg a stream-enkénti párhuzamosítással a teljes futásidő 6,8 másodpercről 23 milliszekundumra, összesen 300-szorosára csökkent. A cikk kódpéldákkal és Google Colab notebookkal is szolgál a bemutatott technikák kipróbálásához.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A bemutatott CUDA eszközök és könyvtárak gyakorlati útmutatót adnak GPU-kódok hibáinak felderítésére és jelentős teljesítménynövelésre.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA CUDA#GPU-optimalizálás

Napi összefoglaló

Ez a hír a 2026. szeptember 3., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Amazon új TorchNeuron eszközzel támadja Nvidia szoftveres fölényét

Az Amazon Web Services hétfőn bemutatta a TorchNeuron nevű fejlesztői eszközt, amely a vállalat állítása szerint lehetővé teszi, hogy a PyTorch keretrendszerben írt AI-alkalmazások mindössze egyetlen konfigurációs sor módosításával, kódátírás nélkül fussanak az Amazon saját Trainium chipjén. Az Amazon szerint az AI-alkalmazások mintegy 85 százaléka PyTorchban készül, amely keretrendszert eredetileg a Facebook fejlesztette, 2022 óta pedig a Linux Foundation gondozza. A cég szerint a Trainiumra költözés nemcsak egyszerű, hanem hozzáférést is ad az Amazon teljes felhőinfrastruktúrájához, szemben a sok esetben Nvidia-hardverhez kötött „neocloud” szolgáltatókkal, mint a CoreWeave vagy a Nebius. Az AWS Annapurna Labs technológiai alelnöke, Colin Brace a TechCrunchnek nyilatkozva hangsúlyozta, hogy a startupok így nem egyetlen, szűk célú számítási szolgáltatóra fogadnak.

A TensorRT motorépítés immár valós időben nyomon követhető és megszakítható

Az NVIDIA technikai blogján bemutatta, hogyan használható a TensorRT-ben több kiadás óta elérhető IProgressMonitor API a motorépítés valós idejű követésére és megszakítására Python és C++ környezetben. A cég szerint nagy modellek és mély taktikakeresés akár percekig tartó építést eredményezhet, ami felügyelet nélkül elvesztegetett GPU-órákat okozhat. Az API három metódus felülírásával fa struktúrájú fáziskövetést és Ctrl-C vagy programozott leállítási jelekre való reagálást tesz lehetővé. Az integráció révén a haladási információ terminálba, IDE-be, HTTP-szolgáltatásba vagy ügynök-futtatókörnyezetbe továbbítható, de szálbiztonság és megszakítási késleltetés gondos kezelését igényli.

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.