2026. szeptember 26., szombat · Eszközök

AWS: SkyRL keretrendszer SageMaker HyperPodon multimodális RL-tanításhoz

Az AWS hivatalos blogbejegyzése bemutatja, hogyan gyorsítható a multimodális megerősítéses tanulás (RL) az Amazon SageMaker HyperPod infrastruktúrával, amely Amazon EKS-en fut. A cikk szerint a HyperPod klaszter-ellenálló képessége folyamatosan figyeli a csomópontok állapotát és automatikusan lecseréli a hibás node-okat, a checkpointing pedig lehetővé teszi, hogy a tanítási feladat a legutóbb mentett lépéstől folytatódjon hardverhiba esetén. A bemutatott kísérletben a nyílt forráskódú SkyRL keretrendszerrel egy Qwen3-VL-8B vizuális-nyelvi modellt tanítottak vizuális labirintusok megoldására, Group Relative Policy Optimization (GRPO) módszerrel. Az AWS állítása szerint a VisGym SFT kiindulási ponthoz képest a GRPO utótanítás a labirintus-megoldási arányt 43,75%-ról több mint 95%-ra növelte egy rögzített, 64 labirintusból álló kiértékelő halmazon. A telepítéshez legalább három ml.g7e.12xlarge és egy ml.r5d.16xlarge instance, valamint több Kubernetes-operátor és FSx for Lustre fájlrendszer szükséges.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A leírás szerint a Ray-alapú HyperPod integráció távoli feladatküldést és Grafana-alapú megfigyelést tesz lehetővé, ami checkpointing nélkül órákig tartó rollout-progresszus elvesztését okozhatná egyetlen hardverhiba esetén.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #SkyRL#SageMaker HyperPod

Napi összefoglaló

Ez a hír a 2026. szeptember 26., szombat napi AI összefoglaló része.

Kapcsolódó hírek

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.

Amazon új TorchNeuron eszközzel támadja Nvidia szoftveres fölényét

Az Amazon Web Services hétfőn bemutatta a TorchNeuron nevű fejlesztői eszközt, amely a vállalat állítása szerint lehetővé teszi, hogy a PyTorch keretrendszerben írt AI-alkalmazások mindössze egyetlen konfigurációs sor módosításával, kódátírás nélkül fussanak az Amazon saját Trainium chipjén. Az Amazon szerint az AI-alkalmazások mintegy 85 százaléka PyTorchban készül, amely keretrendszert eredetileg a Facebook fejlesztette, 2022 óta pedig a Linux Foundation gondozza. A cég szerint a Trainiumra költözés nemcsak egyszerű, hanem hozzáférést is ad az Amazon teljes felhőinfrastruktúrájához, szemben a sok esetben Nvidia-hardverhez kötött „neocloud” szolgáltatókkal, mint a CoreWeave vagy a Nebius. Az AWS Annapurna Labs technológiai alelnöke, Colin Brace a TechCrunchnek nyilatkozva hangsúlyozta, hogy a startupok így nem egyetlen, szűk célú számítási szolgáltatóra fogadnak.

Az Amazon Bedrock támogatja az Anthropic Claude modellek strukturált kimenetét

Az AWS bejelentette, hogy az Amazon Bedrock mostantól minden Anthropic Claude modellnél támogatja a strukturált kimenetet, mind a bedrock-runtime, mind a bedrock-mantle végpontokon. A vállalat szerint a funkció kényszerített dekódolást használ, vagyis a modell már a tokenek generálása közben betartja a megadott JSON-sémát, nem utólag javítja a hibás formátumot. Az AWS állítása szerint ez megszünteti a JSON-feldolgozási hibákat, feleslegessé teszi az egyéni elemzést és az újrapróbálkozási logikát, emellett csökkentheti a kimeneti tokenek számát és ezzel a következtetési költséget nagy terhelésű feladatoknál. A cég közlése szerint a funkció kötegelt (batch) feldolgozással és régiók közötti (cross-Region) következtetéssel is együttműködik, valamint valós idejű streamingnél is használható. Az AWS példaként pénzügyi jelentések, egészségügyi feljegyzések és szerződések strukturált feldolgozását említi.