2026. szeptember 23., szerda · Eszközök

NVIDIA TensorRT és Dynamo-Triton: több GPU-s modellkiszolgálás egyszerűsítve

Az NVIDIA saját fejlesztői blogján bemutatta a TensorRT több eszközös (multi-device) inferencia képességét, amely egyetlen TensorRT-hálózatot NCCL-alapú elosztott kollektívák segítségével több GPU-n futtat, miközben megtartja a TensorRT optimalizációit; a vállalat szerint ez a funkció a TensorRT 11.0-tól teljeskörűen támogatott. A cég állítása szerint a Dynamo-Triton (korábban Triton Inference Server) 26.07-es kiadása aktiválja ezt a TensorRT backendben, így egyetlen KIND_MODEL példány több GPU-t birtokolhat, és egyetlen gRPC végponton keresztül érhető el az elosztott inferencia. A demonstráció az NVIDIA Cosmos 3 Nano videógeneráló modellel készült: a Ulysses kontextus-párhuzamosítás 44 160 videótokent oszt szét akár nyolc GPU között, miközben a Diffusers végzi a promptok és a posztprocesszálás vezérlését. A vállalat mérése szerint a teljes generálási késleltetés egy GPU-n mért 156,6 másodpercről nyolc GPU-n 34,2 másodpercre csökkent, a transzformer RPC gyorsulása pedig elérte a 6,09-szeres értéket.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A fejlesztés azért lényeges, mert a KIND_MODEL egyetlen gRPC végpontja kiváltja, hogy a kliens alkalmazásoknak maguknak kelljen kezelniük a GPU-rangsorolást és a kommunikátor-életciklust, ami leegyszerűsíti a generatív AI-szolgáltatások éles üzemeltetését.

Források

NVIDIA Technical Blog

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA TensorRT#Dynamo-Triton

Napi összefoglaló

Ez a hír a 2026. szeptember 23., szerda napi AI összefoglaló része.

Kapcsolódó hírek

NVIDIA új eszközzel egyszerűsíti a nyílt AI-modellek C++ integrálását

Az NVIDIA saját közleménye szerint elérhetővé tette a TensorRT Model Connect nevű eszközt, amely nyílt AI-modellek natív C++ alkalmazásokba történő beépítését egyszerűsíti le. A vállalat állítása szerint a folyamat két lépésre bontható: előbb egy Python parancssori eszközzel egy Hugging Face modellazonosítóból telepítési csomag épül, majd ezt egy C++ alkalmazás futásidőben betöltve futtatja, PyTorch vagy Python interpreter nélkül. Az NVIDIA szerint két API-szint áll rendelkezésre: egy feladatszintű szemantikus felület, illetve egy modulszintű, tenzor- és komponensvezérlést lehetővé tevő verzió, továbbá TVM FFI-n keresztül egyéni GPU-kernelek is beépíthetők a pipeline-ba. A cég közlése szerint a fejlesztés AI-alapú kódolóügynökökkel és éjszakai kiadásokkal zajlik, hogy lépést tartson a nyílt modellökoszisztémával.

A TensorRT motorépítés immár valós időben nyomon követhető és megszakítható

Az NVIDIA technikai blogján bemutatta, hogyan használható a TensorRT-ben több kiadás óta elérhető IProgressMonitor API a motorépítés valós idejű követésére és megszakítására Python és C++ környezetben. A cég szerint nagy modellek és mély taktikakeresés akár percekig tartó építést eredményezhet, ami felügyelet nélkül elvesztegetett GPU-órákat okozhat. Az API három metódus felülírásával fa struktúrájú fáziskövetést és Ctrl-C vagy programozott leállítási jelekre való reagálást tesz lehetővé. Az integráció révén a haladási információ terminálba, IDE-be, HTTP-szolgáltatásba vagy ügynök-futtatókörnyezetbe továbbítható, de szálbiztonság és megszakítási késleltetés gondos kezelését igényli.

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.