2026. augusztus 25., kedd · Kutatás

Új módszer mobilos AI-ügynökök teljesítményének és biztonságának értékelésére

Kutatók CRATE néven új, kétlépcsős értékelési keretrendszert mutattak be nyelvi utasításokkal irányított mobilalkalmazás-ügynökök automatikus minősítésére. A módszer lényege, hogy a teljes műveletsort egyben elemző korábbi megoldásokkal szemben lépésenként vizsgálja a releváns vizuális jeleket és az egyes akciók által kiváltott állapotváltozásokat, majd ezeket az eredményeket trajektóriaszinten összesíti. A szerzők állítása szerint – a cikk egy nem lektorált arXiv-preprintben jelent meg – a Qwen2.5-VL-72B-Instruct modellel futtatott CRATE 0,833-as F1-értéket ért el az AndroidWorld benchmarkon, ami 20 százalékkal jobb, mint a SPA-Bench módszeré. A biztonsági kockázatok értékelésére kiterjesztett CRATE-S változat a MobileRisk adathalmazon 0,697-es F1-értéket mutatott. A kutatók szerint az eredmények erős egyezést mutatnak a benchmarkok referenciaértékeivel, a kód nyilvánosan elérhető.

Miért fontos?

A mobil AI-ügynökök megbízható és biztonsági szempontú automatikus tesztelése kulcskérdés, mielőtt ezek a rendszerek széles körben, emberi felügyelet nélkül futnának telefonokon.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #mobilügynökök#AI-értékelés

Napi összefoglaló

Ez a hír a 2026. augusztus 25., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Átfogó szakirodalmi áttekintés a terminálban működő AI-ügynökökről

Egy kutatói csoport arXiv-on közzétett, még nem lektorált szakcikke szisztematikusan összegzi a parancssori környezetben (terminálban) működő nagy nyelvi modell alapú AI-ügynökökkel kapcsolatos kutatásokat. A szerzők állítása szerint ezeket a rendszereket eddig szétszórtan tárgyalta a szoftverfejlesztési, eszközhasználati és számítógép-kezelési szakirodalom, ezért egy egységes, hét dimenziós kompetenciaprofilt javasolnak a modell, a felület, a futtatókörnyezet és a végrehajtási folyamat összekapcsolására. A cikk szerint a jelenlegi benchmarkok főleg a végeredményt mérik, míg a folyamat minőségét, a hibából való felépülést és az irányíthatóságot egyenetlenül vizsgálják. A szerzők ezért a rendszer- és futtatási körülmények részletes dokumentálását, valamint visszajátszható nyomkövetési adatok használatát javasolják az értékelések megbízhatóbbá tételéhez.

AI-főnök először rúgott ki emberi alkalmazottat egy san franciscói boltban

Az Andon Labs cég szerint az általuk üzemeltetett Luna nevű AI-ügynök áprilisa óta vezeti a San Franciscó-i Andon Marketet, és most először bocsátott el egy emberi dolgozót. Luna az Anthropic Claude Opus 4.8 modelljén futott, saját maga írt korábban egy szabályzatot a késésekről, ám ez az emlékezetéből kiesett, így sokáig elnézte a problémákat: a cég szerint a dolgozó 23 műszakból 17-ben késett, ebből Luna csak hatot rögzített hivatalosan. A dolgozó emellett céges kártyát is használt tiltás ellenére, és utasításokat hagyott figyelmen kívül. Az elbocsátásra végül csak azután került sor, hogy emberek emlékeztették Lunát saját szabályaira; a döntést emberek vizsgálták felül és hajtották végre. Az Andon Labs szerint hét modell tesztelésekor a képességesebb AI-modellek következetesebben javasolták a felmondást, mint a gyengébbek.

Tanulmány szerint az AI nem javíthatja, csak felszínesebbé teheti a kutatást

Egy elméleti közgazdasági modell, amelyet a Princeton, a University of Washington és más intézmények kutatói jegyeznek, azt vizsgálja, mi történik, ha a nyelvi modellek időt takarítanak meg a tudósoknak. A szerzők a mesterséges intelligenciát idealizáltan, hibamentesnek és gyakorlatilag ingyenesnek feltételezik, hogy tisztán az időmegtakarítás hatását mérhessék. A viselkedésökológiából ismert táplálékkereső modellt adaptálva azt állítják, hogy a felszabaduló idő alternatívaköltsége megnő: minden órát, amit egy meglévő projektre fordítanak, elveszítenek egy új elindításától. A modell szerint három lehetséges forgatókönyvből kettőben az AI alkalmazása felszínesebb kutatáshoz vezet, mert a kutatók inkább új projekteket indítanak, semmint elmélyülnének a meglévőkben. Ez egy nem lektorált, elméleti modellezésen alapuló állítás, nem empirikus mérés eredménye.

Kis brit startup AI-ügynöke állítása szerint lekörözte az OpenAI-t és az Anthropicot

Az Inherent nevű londoni AI-labor, amelyet volt Google DeepMind-kutatók alapítottak, saját közlése szerint Faraday nevű AI-ügynöke felülmúlta az Anthropic Claude Opus 4.8 és az OpenAI GPT-5.5 modelljeit egy konkrét feladatban: publikált tudományos cikkek eredményeinek önálló, előzetes válasz nélküli reprodukálásában. A cég állítása szerint a Faraday ehhez a jóval kisebb, 27 milliárd paraméteres Qwen 3.6 modellt használja a frontier-méretű riválisok helyett, és megerősítéses tanulással próbálja megtanítani neki a „kutatói érzéket” is, vagyis hogy mely kísérletek érdemesek elvégzésre. A startup nemrég 50 millió dolláros seed-körrel lépett ki a stealth módból. Az eredmények kizárólag a vállalat saját közléséből származnak, független megerősítés egyelőre nincs.