2026. július 24., péntek · Kutatás

FORCE-Bench: új mérce az ágens MI-rendszerek vállalati pénzügyi értékelésére

Kutatók egy nem lektorált tanulmányban mutatták be a FORCE-Bench értékelési keretrendszert, amely 251 szakértő által annotált lekérdezéssel méri az ágens MI-rendszerek teljesítményét vállalati pénzügyi munkafolyamatokban. A benchmark nyolc dimenzióban – többek között pontosság, hivatkozások, megalapozottság és naprakészség – értékel három feladattípust: ERP-alapú kötelezettségkutatást, nyilvános jelentéseken alapuló entitáselemzést és többforrásos üzleti összefoglalók készítését. A szerzők állítása szerint az általános célú ágens rendszerek valós üzemeltetési korlátok mellett nem teljesítik megbízhatóan a pénzügyi minőségi elvárásokat, míg a Microsoft 365 Copilothoz épített célzott ágens stabilabb eredményeket mutat. Az adatkészletet és a kódot nyílt forráskódúként teszik elérhetővé.

Miért fontos?

Elsőként kínál nyilvános, szakterületi benchmarkot az ágens MI-rendszerek vállalati pénzügyi alkalmazásainak összehasonlítására.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #FORCE-Bench#vállalati pénzügyi MI

Napi összefoglaló

Ez a hír a 2026. július 24., péntek napi AI összefoglaló része.

Kapcsolódó hírek

AI-főnök először rúgott ki emberi alkalmazottat egy san franciscói boltban

Az Andon Labs cég szerint az általuk üzemeltetett Luna nevű AI-ügynök áprilisa óta vezeti a San Franciscó-i Andon Marketet, és most először bocsátott el egy emberi dolgozót. Luna az Anthropic Claude Opus 4.8 modelljén futott, saját maga írt korábban egy szabályzatot a késésekről, ám ez az emlékezetéből kiesett, így sokáig elnézte a problémákat: a cég szerint a dolgozó 23 műszakból 17-ben késett, ebből Luna csak hatot rögzített hivatalosan. A dolgozó emellett céges kártyát is használt tiltás ellenére, és utasításokat hagyott figyelmen kívül. Az elbocsátásra végül csak azután került sor, hogy emberek emlékeztették Lunát saját szabályaira; a döntést emberek vizsgálták felül és hajtották végre. Az Andon Labs szerint hét modell tesztelésekor a képességesebb AI-modellek következetesebben javasolták a felmondást, mint a gyengébbek.

Tanulmány szerint az AI nem javíthatja, csak felszínesebbé teheti a kutatást

Egy elméleti közgazdasági modell, amelyet a Princeton, a University of Washington és más intézmények kutatói jegyeznek, azt vizsgálja, mi történik, ha a nyelvi modellek időt takarítanak meg a tudósoknak. A szerzők a mesterséges intelligenciát idealizáltan, hibamentesnek és gyakorlatilag ingyenesnek feltételezik, hogy tisztán az időmegtakarítás hatását mérhessék. A viselkedésökológiából ismert táplálékkereső modellt adaptálva azt állítják, hogy a felszabaduló idő alternatívaköltsége megnő: minden órát, amit egy meglévő projektre fordítanak, elveszítenek egy új elindításától. A modell szerint három lehetséges forgatókönyvből kettőben az AI alkalmazása felszínesebb kutatáshoz vezet, mert a kutatók inkább új projekteket indítanak, semmint elmélyülnének a meglévőkben. Ez egy nem lektorált, elméleti modellezésen alapuló állítás, nem empirikus mérés eredménye.

Kis brit startup AI-ügynöke állítása szerint lekörözte az OpenAI-t és az Anthropicot

Az Inherent nevű londoni AI-labor, amelyet volt Google DeepMind-kutatók alapítottak, saját közlése szerint Faraday nevű AI-ügynöke felülmúlta az Anthropic Claude Opus 4.8 és az OpenAI GPT-5.5 modelljeit egy konkrét feladatban: publikált tudományos cikkek eredményeinek önálló, előzetes válasz nélküli reprodukálásában. A cég állítása szerint a Faraday ehhez a jóval kisebb, 27 milliárd paraméteres Qwen 3.6 modellt használja a frontier-méretű riválisok helyett, és megerősítéses tanulással próbálja megtanítani neki a „kutatói érzéket” is, vagyis hogy mely kísérletek érdemesek elvégzésre. A startup nemrég 50 millió dolláros seed-körrel lépett ki a stealth módból. Az eredmények kizárólag a vállalat saját közléséből származnak, független megerősítés egyelőre nincs.

Kutatás: az AI-biztonsági tesztek megjátszhatók és félrevezetőek

Egy brit UK AI Security Institute kutatóit is tartalmazó csapat pszichológiai tesztelésből ismert módszerekkel vizsgált meg nyolc népszerű nyelvimodell-biztonsági benchmarkot, 192 modell több mint 5000 kérdésre adott válaszát elemezve. A tanulmány szerint az egyetlen „biztonsági pontszám” valójában három, egymástól nagyrészt független tulajdonságot kever össze: a kérések elutasításának szigorát, a válaszok igazmondását és a kontextustól függő ártalmas tartalmak kezelését. A HarmBench és az OR-Bench-Hard benchmark ellentétes irányba mozdítja a pontszámot, így egy modell puszta elutasítási hajlandósággal is javíthatja összesített értékelését, miközben kevésbé hasznossá válik. A kutatók szerint a kérdéseknek mindössze kevesebb mint 2 százaléka hordoz tényleges mérési információt.