2026. szeptember 18., péntek · Modellek

NVIDIA: 6,4-szer gyorsabb agentikus AI-következtetés a Jetson AGX Thor élperemes chipen

Az NVIDIA saját közleménye szerint a TensorRT Edge-LLM szoftverük a Qwen3.6-27B modellt futtatva egyetlen Jetson AGX Thor fejlesztői eszközön 52,33 tokent generált másodpercenként, és az MLPerf Inference v6.1 Edge Agentic teszt mind az 1007 fordulóját 24 perc 36 másodperc alatt teljesítette. Ez a vállalat mérése szerint 6,4-szer gyorsabb, mint a llama.cpp referencia-futtatás 2 óra 37 perces ideje. A gyorsítást az NVIDIA szerint az NVFP4 kvantálás, az FP8 KV-gyorsítótár, egy fastruktúrás többtokenes predikció és a promptok mintegy 96 százalékát kiszolgáló KV-gyorsítótár-újrahasznosítás kombinációja adja. A cég állítása szerint a fastruktúrás predikció önmagában mintegy 40 százalékos dekódolási teljesítménynövekedést ad a lineáris megoldáshoz képest függvényhívásos munkaterheléseknél.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A benchmark azt mutatja, hogy hosszú, több lépéses ügynöki feladatsorozatok (pl. robotok vagy járművek fedélzeti vezérlése) helyben, felhő nélkül is futtathatók korlátozott energia- és memóriakeretben egy Blackwell-alapú Jetson chipen.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI kutatás #NVIDIA Jetson AGX Thor#MLPerf Edge Agentic

Napi összefoglaló

Ez a hír a 2026. szeptember 18., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Hassabis: az AGI már két-három éven belül itt lehet

Demis Hassabis, a Google DeepMind alapítója és kémiai Nobel-díjas tudós a Wall Street Journalnak adott interjúban arról beszélt, hogy becslése szerint az általános mesterséges intelligencia (AGI) már két-három éven belül megérkezhet, szemben a korábbi, három-öt éves jóslatával. A Decoder cikke szerint Hassabis AGI-definíciója egy olyan rendszer, amely lefedi az emberi agy teljes kognitív skáláját, és ezt az úgynevezett „Einstein-teszttel” mérné: képes-e egy kizárólag 1901 előtti tudáson tanított rendszer reprodukálni Einstein 1905-ös dolgozatait. Hassabis az AGI hatását „10-szer akkorának és 10-szer gyorsabbnak” nevezte, mint az ipari forradalom. A cikk szerint Hassabis a Google DeepMind éléről lelépve most a cég gyógyszerkutatási leányvállalatára, az Isomorphic Labsra összpontosít, emellett egy iparág által finanszírozott, kormányzati felügyelet alatt álló testületet javasolt a modellek kiadás előtti ellenőrzésére.

NVIDIA RFD4-Proteina: gyorsabb fehérjetervezés reward-vezérelt kereséssel

Az NVIDIA bejelentette az RFD4-Proteina nyílt modellt, amelyet a Washingtoni Egyetem Orvostudományi Karának Protein Design Intézetével közösen fejlesztettek ki. A vállalat szerint a modell egy lépésben tervezi meg a fehérjeszekvenciát és a teljes atomi szerkezetet, kiküszöbölve a korábbi megközelítések külön inverz-folding lépését. Az NVIDIA állítása szerint a reward-vezérelt, inferencia idejű keresés a számítási kapacitást a legígéretesebb jelöltekre összpontosítja, a mintavételezési lépések számát pedig mintegy 400-ról 60-ra csökkentették, ami 3,8-szoros gyorsulást és 84 százalékkal kisebb csúcsmemória-igényt eredményez 200 aminosavas fehérjéknél az elődmodellhez, az RFD3-hoz képest. A modell nyílt forráskódú változatként és NIM mikroszolgáltatásként is elérhető, és a vállalat szerint olyan feladatokra használható, mint a PD-L1 onkológiai célpont elleni kötőfehérjék tervezése hotspot-megkötésekkel.

Elevenlabs két új valós idejű beszédmodellt jelentett be

Az Elevenlabs két új speech-to-speech modellt adott ki Eleven Realtime néven: a v1 Max és a v1 Mini változatot. A cég állítása szerint a v1 Max 98,8 százalékot ér el a Big Bench Audio benchmarkon, mindössze 0,57 másodperces válaszidővel, és jelenleg egyetlen modell sem gyorsabb és pontosabb egyszerre az Artificial Analysis ranglistáján. A kisebb v1 Mini modellt természetes, olcsóbb beszélgetésekre fejlesztették, és felismeri, ha valaki befejezte a mondandóját vagy csak "mm-hmm"-mel reagál, míg a v1 Max komplexebb feladatokra, például ügyfélszolgálati célokra készült. Mindkét modell elérhető az ElevenAgents platformon, valamint egy OpenAI-kompatibilis Realtime API-n keresztül, percalapú díjazással és token-költséggel.

Mistral AI bemutatta a Voxtral 3 hangügynök-rendszert

A Mistral AI bejelentette a Voxtral 3 nevű modellcsaládot, amely valós idejű hangalapú AI-ügynökök építésére szolgál. A rendszer tartalmaz egy beszédfelismerő modellt (Voxtral Small Transcribe 3), egy szövegfelolvasó modellt (Voxtral Mini TTS 3), valamint egy LiveKit-alapú ügynök-SDK-t, amelyek egyetlen streamelt folyamatban egyesítik a hallgatást, a gondolkodást, az eszközhasználatot és a beszédet. A vállalat szerint az átirat-készítés több mint 50 nyelvet, a beszédszintézis pedig 35 nyelvet és 50 dialektust fed le érzelmi adaptációval. A cég közlése szerint az ügynökök élő beszélgetés közben külső rendszerekhez is hozzáférhetnek, például időpontfoglaláshoz vagy számlaellenőrzéshez. Mistral azt állítja, hogy a rendszer futtatható saját infrastruktúrán vagy EU-ban hosztolt API-kon keresztül, az átírás ára pedig percenként 0,0035 dollártól indul.