2026. szeptember 19., szombat · Eszközök

Az AWS saját közleménye szerint elindította az Amazon SageMaker HyperPod Inference Gateway nevű, Kubernetes-natív, GPU-tudatos útválasztó rendszert. Ez egyetlen EKS managed addonként telepíthető a meglévő HyperPod klaszterekre, a modellkiszolgáló szoftverek és kliensalkalmazások módosítása nélkül. A vállalat állítása szerint a rendszer valós idejű GPU-metrikák – KV-cache kihasználtság, várakozási sor mélysége, LoRA-adapter jelenléte a memóriában – alapján, súlyozott pontozási algoritmussal választja ki minden kéréshez a legalkalmasabb pod-ot, ezzel a hagyományos round-robin vagy least-connections terheléselosztókkal szemben elkerülhető a kérések felhalmozódása a túlterhelt csomópontok mögött. Az AWS szerint ez az első token generálásáig eltelő időt (latencia) akár 82%-kal csökentheti, egy bemutatott esetben 4,4 másodpercről 800 ezredmásodperc alá. A rendszer architektúrája két rétegből áll: egy L7 proxy fogadja és irányítja az OpenAI-kompatibilis kéréseket a megfelelő modellcsoporthoz, míg egy intelligencia-réteg Prometheus-metrikák alapján dönt a végső célpontról. Az állítások és teljesítményszámok az AWS saját, nem független forrásból származó közleményén alapulnak.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.