2026. szeptember 21., hétfő · Eszközök

Az AWS automatizálja a generatív AI modellek üzembe helyezését a SageMaker-ben

Az AWS blogbejegyzése szerint az Amazon SageMaker AI 2026-ban eddig 13 új képességet vezetett be a generatív AI modellek üzemeltetésére, két úton: kezelt végpontokon, ahol az AWS kezeli az infrastruktúrát, illetve a Kubernetes-natív SageMaker HyperPod Inference megoldáson keresztül. A cég kiemeli az optimalizált következtetési ajánlásokat, amelyek automatizálják a megfelelő instancia, konténer és optimalizálási beállítás kiválasztását, ami a vállalat állítása szerint korábban 2-3 hetes manuális benchmarkolást igényelt több mint ezer kombináción. A háromlépéses folyamat (szűkítés, optimalizálás EAGLE 3.0 spekulatív dekódolással és tenzorparalelizmussal, majd NVIDIA AIPerf-fel végzett benchmarkolás) végén egy kész SageMaker modell jön létre. A bejegyzés az AWS saját terméke, így az állítások a vállalattól származnak, független megerősítés nem szerepel a forrásban.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Az AWS azt állítja, hogy az új automatizált ajánlórendszer heteket takaríthat meg azoknak a csapatoknak, akiknek nincs belső GPU-benchmarkolási szakértelmük a modellkiszolgálás beállításához.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #Amazon SageMaker#AI inferencia

Napi összefoglaló

Ez a hír a 2026. szeptember 21., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

AWS útmutatót adott ki termékcímkéző AI rendszer építéséhez SageMakerrel

Az AWS hivatalos blogbejegyzése egy gyakorlati útmutatót mutat be arra, hogyan lehet automatizált termékcímkéző rendszert építeni kiskereskedelmi katalógusokhoz az Amazon SageMaker szerver nélküli modell-testreszabási funkciójával. A leírás szerint a Qwen3-8B nyílt súlyú modellt előbb felügyelt finomhangolással (SFT), majd ellenőrizhető jutalmakon alapuló megerősítéses tanulással (RLVR, GRPO algoritmussal) optimalizálják egy rögzített címketaxonómiára. Az AWS állítása szerint ez a megközelítés jobban illeszkedik a szűk, programozottan pontozható feladatokhoz, mint egy általános célú frontier modell promptolása, mivel nem kell fizetni olyan széles körű képességekért, amelyekre a munkafolyamatnak nincs szüksége. A betanítást a SageMaker szerver nélkül kezeli, a végleges modellt pedig Amazon SageMaker Asynchronous Inference szolgáltatással telepítik kötegelt katalógus-feldolgozásra. A cikk technikai lépéseket és AWS-erőforrás-igényeket is részletez, IAM-jogosultságoktól kezdve az S3-tárolóig.

Az AWS bemutatta a SageMaker Python SDK v3-at és annak új script mode-ját

Az AWS hivatalos blogbejegyzése szerint megjelent a SageMaker Python SDK v3, amely alapjaiból újratervezi a script mode funkciót, amelyet a vállalat először 2021-ben mutatott be. Az új verzió a keretrendszer-specifikus estimator osztályokat (SKLearn, PyTorch, XGBoost) egyetlen, egységes ModelTrainer és ModelBuilder osztállyal váltja fel a tanításhoz, illetve a modellek üzembe helyezéséhez. A SourceCode konfigurációs objektum futásidőben szinkronizálja a helyi kódkönyvtárat a tanítási feladatba, így egy Amazon ECR-ből származó konténerkép újraépítése nélkül is módosítható a kód. A bejegyzés két végpontig tartó példát mutat be: egy scikit-learn Random Forest tanítását és üzembe helyezését, valamint a Stable Diffusion 3.5 finomhangolását LoRA technikával, Hugging Face Accelerate segítségével, több GPU-n.

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.

A Google is bemutatta saját PyTorch-verzióját, hogy gyengítse az Nvidia dominanciáját

A Google a TechCrunch beszámolója szerint kedden nyílt forráskódúként tette közzé a TorchTPU nevű eszközt, amely a népszerű PyTorch keretrendszer saját, Tensor Processing Unit (TPU) chipekre optimalizált változata. A cég állítása szerint a meglévő PyTorch-alkalmazások egyszerű konfigurációváltással, újraírás nélkül átvihetők a Google Cloud TPU-ira. A lépéssel a Google csatlakozik Amazonhoz, amely hétfőn jelentette be saját TorchNeuron megoldását a Trainium chipekhez, és emellett kódot nyújtott be a fő PyTorch projekthez, hogy a keretrendszer alapból kevésbé kötődjön az Nvidia hardveréhez. A TechCrunch szerint a Google azt állítja, hogy közvetlenül együttműködött a Metával, a Hugging Face-szel, valamint a vLLM-et és az SGLang-ot fejlesztő cégekkel a kompatibilitás biztosítása érdekében, és egy új TPU agent suite eszközt is indított a migráció segítésére. A PyTorch-ot eredetileg a Meta fejlesztette 2016-ban, majd 2022-ben a Linux Foundation nonprofit szervezetnek adta át.