2026. július 25., szombat · Eszközök

NVIDIA ModelExpress: modellsúlyok villámgyors elosztása GPU-k között a klaszterben

Az NVIDIA bemutatta a ModelExpress (MX) nevű platformot, amely a nagy nyelvi modellek súlyainak klaszteren belüli mozgatását gyorsítja fel. A rendszer a betöltés előtt megkeresi, hol található már kompatibilis súlymásolat, és a leggyorsabb elérhető útvonalat választja: ha egy kiszolgáló társgépen megvannak a súlyok, azokat közvetlenül GPU-ról GPU-ra másolja RDMA-n keresztül az NIXL könyvtár segítségével, elkerülve az objektumtárolót, a lemezt és a gazdagép memóriáját. Az NVIDIA szerint az MX a DeepSeek-V4 Pro súlyait és a JIT kernelgyorsítótárat kevesebb mint 10 másodperc alatt képes átvinni egy új replikába. A platform többszálú streamelést, elosztott atomi gyorsítótárazást és GPUDirect Storage támogatást alkalmaz, valamint integrálódik a vLLM, SGLang, Dynamo és llm-d keretrendszerekkel, így az éles LLM-telepítések hidegindítási és skálázási idejét jelentősen csökkenti.

Miért fontos?

A modellsúlyok mozgatása az LLM-kiszolgálás egyik fő szűk keresztmetszete, és az MX ezt a lépést GPU-közvetlen átvitellel nagyságrendileg gyorsítja.

Források

NVIDIA Technical Blog Hivatalos

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA ModelExpress#LLM-inferencia

Napi összefoglaló

Ez a hír a 2026. július 25., szombat napi AI összefoglaló része.

Kapcsolódó hírek

Egymillió kattintás LinkedIn AI-szemét gombjára

A LinkedIn július 30-án vezette be a „Ez AI-szemétnek tűnik” gombot, amely a posztok hármaspont menüjéből érhető el. Hari Srinivasan termékigazgató csütörtöki bejegyzése szerint a funkciót eddig több mint egymillióan használták, és a platform szerint az AI-generáltként besorolt tartalmak megtekintése 40 százalékkal csökkent néhány hét alatt. A LinkedIn a gomb mellett új, továbbfejlesztett osztályozókat is bevezetett az AI-tartalmak felismerésére, és megszüntette a posztokat AI-val „javító” funkciót. A cég azt is közölte, hogy hamarosan üzenetben jelzi a felhasználóknak, ha mások szerint a posztjuk mesterséges intelligenciával készültnek tűnik. Mindezek az állítások a LinkedIn saját közléséből származnak, független megerősítés a számokról a forrásban nem szerepel.

LinkedIn multi-ügynökös AI-rendszert épített kódellenőrzésre

A LinkedIn mérnökei saját cikkük szerint olyan multi-ügynökös AI-alapú kódellenőrző platformot fejlesztettek, amely a cég méretéhez igazodva váltja fel az egyetlen, kész AI-modellre épülő megoldásokat. A vállalat állítása szerint az egymodelles rendszerek vakfoltokkal küzdenek, nehezen testreszabhatók a szervezeti szabályokhoz és repó-specifikus konvenciókhoz, és korlátozott az üzemeltethetőségük. Ezt a LinkedIn több, egymástól független modellt és következtetési módszert használó AI-értékelővel, rétegzett testreszabással, valamint egy Kubernetes-alapú, eseményvezérelt architektúrával orvosolja, amely figyeli a késleltetést és a szolgáltatói hibákat. A cég szerint, ha több ügynök önállóan ugyanazt a hibát jelzi, azt erős bizonyítéknak tekintik, az egyedi találatokat viszont nem fogadják el automatikusan. Az állítások kizárólag a LinkedIn saját közléséből származnak.

DoorDash: hibrid AI-rendszerrel szűrik a sértő üzeneteket a piactéren

A DoorDash Bruna Pereira előadása szerint egy SafeChat nevű, tartalomtól független AI-moderációs platformot épített, amely a fogyasztók, futárok és éttermek közötti chatüzeneteket figyeli. A cég állítása szerint a korábbi, kizárólag nagy nyelvi modellre (LLM) épülő, drága megoldást egy hibrid architektúrával váltották fel: gyors, saját fejlesztésű modellek szűrik ki az egyértelmű eseteket, míg az árnyaltabb döntéseket többszempontú LLM-pontozás végzi, no-code munkafolyamatokkal és visszatesztelési lehetőséggel kiegészítve. A DoorDash szerint ez az architektúra csökkentette a biztonsági incidensek számát, miközben a rendszer napi több millió üzenetet dolgoz fel. Az állítások a vállalat saját előadásából származnak, független megerősítés a forrásban nincs.

AWS háromrészes útmutatót adott ki kódolás nélküli gépi tanulási folyamathoz Snowflake-kel

Az AWS hivatalos blogján megjelent háromrészes technikai útmutató bemutatja, hogyan építhető fel kódolás nélküli gépi tanulási munkafolyamat Snowflake, Amazon SageMaker Canvas és Amazon Quick segítségével. Az első rész a Snowflake-környezet beállítását ismerteti, a második a Data Wrangler vizuális eszközeivel végzett adat-előkészítést és egy XGBoost algoritmusra épülő csalásdetektáló modell felépítését, a harmadik a modell előrejelzéseinek Amazon Quick Sight-ba importálását és interaktív irányítópultok létrehozását tárgyalja. Az AWS állítása szerint a cél, hogy üzleti elemzők adatszakértők nélkül is építhessenek prediktív modelleket. A sorozat egy egészségügyi szervezet Snowflake-ben tárolt üzemi adataira épülő esetet említ példaként.