2026. augusztus 13., csütörtök · Eszközök

AWS rétegzett KV-gyorsítótárat épített LLM-inferenciához

Az AWS blogbejegyzése szerint a vállalat rétegzett KV-gyorsítótár architektúrát épített a SageMaker HyperPod platformra, amely a Curvine nevű elosztott gyorsítótár-fájlrendszert használja megosztott NVMe-tárolóként a GPU- és CPU-memória mellett. Ez a HyperPod meglévő Managed Tiered KV Cache és Intelligent Routing képességeire épül, és lehetővé teszi a KV-gyorsítótár megosztását a vLLM-replikák között, közel lokális disksebességgel. A cég saját tesztjében ez akár 100 százalékos, Pod-ok közötti cache-hit arányt, legfeljebb 2,7-szeres TTFT-javulást és mintegy 56 ezredmásodperces csomópontok közötti L2 olvasási késleltetést eredményezett egy körülbelül 1900 tokenes promptnál. Az AWS szerint így olyan feladatok is futtathatók olcsóbb GPU-példányokon, amelyek korábban P5-ös instance-t igényeltek. Az eredmények a vállalat saját mérésén alapulnak, független validálásról nincs információ.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A megoldás csökkentheti a nagy nyelvi modellek üzemeltetési költségeit és javíthatja a válaszidőt, közvetlen hatással a felhőalapú AI-infrastruktúra gazdaságosságára.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #AWS SageMaker HyperPod#Curvine KV-cache

Napi összefoglaló

Ez a hír a 2026. augusztus 13., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

AWS: nyílt forráskódú AI-ügynök vezérli a SageMaker HyperPod klasztereket

Az AWS bemutatta a HyperPod InstantStart nevű nyílt forráskódú vezérlőréteget, amely az Amazon SageMaker HyperPod klaszterek – gépi tanulási modellek futtatására szolgáló, Amazon EKS-re épülő infrastruktúra – beállítását és napi üzemeltetését automatizálja. A vállalat állítása szerint a rendszer egyetlen, a felhasználó AWS-fiókjában futó menedzsment-konténerként működik, és ugyanazt a háttér-API-t szolgálja ki webes felületen és parancssoron keresztül is. Az AWS szerint egy AI-ügynök tervezi meg és futtatja a többlépcsős folyamatot – hálózat, tárhely, azonosságkezelés, node-helyreállítás, modellkiszolgálás –, és csak az elérhetőségi zóna vagy a példánytípus kiválasztásánál áll meg döntésre várva. A cég szerint a megbízhatóság kulcsa, hogy a működési szabályokat egy vezérlőréteg API-jába kódolják, nem pedig nyers parancssori hozzáférést adnak az ügynöknek.

AWS és NVIDIA: automatizált AI-gyártósor fizikai robotoknak

Az AWS hivatalos technikai blogja szerint a NVIDIA Cosmos 3 nevű nyílt, omnimodális világmodelljével és az Amazon SageMaker HyperPod infrastruktúrával úgynevezett Physical AI modellgyárat lehet építeni robotok és autonóm járművek számára. A leírás szerint a rendszer folyamatos hurokban generál szintetikus adatot, utótanítja az érzékelési és irányítási modelleket, majd zárt hurkú szimulációban értékeli őket, egyetlen Kubernetes-alapú klaszteren, elkerülve a külön GPU-kapacitást igénylő szakaszos gyakorlatot. Az AWS bemutatja a Cosmos 3 Mixture-of-Transformers architektúráját, valamint egy nyilvános DROID adathalmazon futtatott robotirányítási utótanítási példát, a kód pedig elérhető GitHubon. A cég szerint a kulcsfontosságú mutató nem az egyes feladatok csúcsteljesítménye, hanem a lefoglalt GPU-órákra vetített hasznos GPU-goodput.

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.