2026. július 8., szerda · Kutatás

Incognita: új keretrendszer társas környezetben működő AI-ágensek értékelésére

Kutatók egy Incognita nevű, Concordia-alapú keretrendszert mutattak be, amely elkülönítve értékeli a generatív AI-ágensek társas interakcióját és megalapozott cselekvés-végrehajtását. A rendszer társasan elosztott feladatkörnyezeteket definiál, ahol a tudás szerepkörök szerint elkülönített résztvevők között oszlik meg. Három modellt teszteltek 18 feladaton, 540 próbán: a sikerarány 0-ról 8,9, illetve 17,2 százalékra nőtt, a korai befejezés aránya 100-ról 58 százalékra csökkent. Az erősebb modellek több rejtett tudást tártak fel, de a megbízhatóság alacsony maradt. A nem lektorált tanulmány szerint e környezetek már a megbízható siker előtt feltárják az ágensviselkedés mintázatait.

Miért fontos?

A keretrendszer elsőként kombinálja a társas interakció és a végrehajtható cselekvések értékelését, feltárva az AI-ágensek alacsony megbízhatóságát összetett társas környezetben.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI-ágensek#benchmark

Napi összefoglaló

Ez a hír a 2026. július 8., szerda napi AI összefoglaló része.

Kapcsolódó hírek

Shadow evaluation: AI-ágensek elbuknak a nyílt kutatói döntéseknél

Egy nem lektorált tanulmány „shadow evaluation” néven új tesztmódszert vezet be: két meg nem jelent NeurIPS 2026-os cikk nyitott kutatási kérdését kapták meg AI-ágensek hat nap és több ezer dollárnyi számítási kapacitás mellett, majd a kéziratok eredeti szerzői értékelték a munkájukat. A szerzők szerint az ágensek emberi segítség nélkül elvégezték a szükséges mérnöki munkát, de érdemi előrelépést nem értek el a kutatási kérdés megválaszolásában, ezért mindkét dolgozatot elutasították. Öt visszatérő hibamintát azonosítottak: gyenge publikálhatósági ítélőképesség, kreativitáshiány a kutatási terv hibáinak kezelésében, hatástalan visszalépés zsákutcákból, gyenge erőforrás-tudatosság és utasításoktól való eltávolodás. Egy második modellel végzett ellenőrzés ugyanezeket a hibákat reprodukálta.

AISE-Bench: új benchmark az akadémiai tudásgráfokon végzett többlépéses információkeresés értékelésére

Az AISE-Bench egy 1133 kérdés-válasz párból álló, valós felhasználói szándékokra épülő benchmark, amely akadémiai tudásgráfokon teszteli a nagy nyelvi modellek eszközhasználó ágensként való működését. A még nem lektorált kutatás szerint a rendszer teljes munkafolyamatot fed le: lekérdezés-tervezés, API-hívások végrehajtása, paraméterek kitöltése, hivatkozásokkal alátámasztott válaszok generálása és átfogó kiértékelés. A szerzők 14 módszert hasonlítottak össze, és azt találták, hogy még a legjobban teljesítő megközelítés (a Gemini-3-Pro-val működő PLAY2PROMPT) is csak közepes eredményt ért el, különösen az API-tervezés és -végrehajtás terén küzdött nehézségekkel. Az AISE-Bench célja, hogy megbízható tesztágyat biztosítson a többlépéses, nyomon követhető érvelést igénylő LLM-ágensek fejlesztéséhez és összehasonlításához. A kód és az adatok nyilvánosan elérhetők.

CANN Bench: nyílt benchmark AI által generált operátorkernelekhez Huawei Ascend NPU-n

Kutatók bemutatták a CANN Bench nevű nyílt benchmarkot, amely AI-ágensek által írt, alacsony szintű operátorkerneleket értékel Huawei Ascend NPU hardveren. A nem lektorált preprint szerint a benchmark 53 operátort és 1060 tesztesetet tartalmaz négy nehézségi szinten – egyszerű primitívektől a FlashAttention kernelekig –, FP16, BF16, FP32 és INT8 formátumokban. Az értékelés három dimenzió – fordíthatóság, funkcionális helyesség és teljesítmény – súlyozott pontszámán alapul, valós NPU-hardveren mért analitikus teljesítménykorláthoz viszonyítva. A szerzők szerint a módszer ellenáll a jutalom-manipulációnak, és hosszú távú közösségi fejlesztésre tervezett, pótolva a CUDA-centrikus benchmarkok hiányosságait.

Mesterséges intelligencia mint társkutató: új keretrendszer az orvosbiológiai kutatások felgyorsítására

A Nature Medicine szerkesztőségi cikke szerint az új technológiák olyan ütemben állítanak elő orvosbiológiai adatokat, amely meghaladja az emberi elemzőkapacitást, miközben számos kutatási munkafolyamat ismétlődő és töredezett. Ez kutatási szűk keresztmetszetet hoz létre, amelynek feloldásában a mesterséges intelligenciára épülő ágensek segíthetnek. A cikk két kapcsolódó tanulmányra is hivatkozik: az egyik a rákpatológiában alkalmazható autonóm tudományos felfedezés ágens-keretrendszerét mutatja be, a másik pedig hematológiai rosszindulatú megbetegedéseknél nyújtott klinikai döntéstámogatásra fejlesztett MI-ágenssel foglalkozik. A szerkesztőségi írás tehát azt a gondolatot járja körül, hogy az MI-ágensek társkutatóként képesek lehetnek az orvosbiológiai kutatás tempójának növelésére azáltal, hogy átvállalják az adatelemzés és a munkafolyamatok egy részét.