2026. június 30., kedd · Kutatás

Kódoló LLM-ek nem értik a szoftverek futási viselkedését – új értékelési keretrendszer mutatja a hiányosságokat

Egy nem lektorált kutatási tanulmány új megközelítést javasol a kódgeneráló nagy nyelvi modellek értékeléséhez: a szerzők a tesztkimenet és a hibaosztályok előrejelzése mellett a csúcsmemória-használat, a valós futási idő és a profilozó által rangsorolt metódus- és sorszintű erőforrás-fogyasztás becslését is vizsgálják. Az adatok forrásául a SWE-bench Verified benchmarkot használták, hogy az értékelés közel álljon a valós szoftvermérnöki feladatokhoz. A szerzők állítása szerint valamennyi tesztelt modell – beleértve az élvonalbeli rendszereket is – csak szerény teljesítményt mutatott és törékeny viselkedést tanúsított ezeken a feladatokon. Ez arra utal, hogy a jelenlegi LLM-ek a forráskód írásában jóval erősebbek, mint annak megértésében, hogyan viselkedik a szoftver futás közben, vagyis hiányzik belőlük egy implicit szoftver-világmodell.

Miért fontos?

Rámutat, hogy a kódoló LLM-ek futásidejű erőforrás-becslési képessége gyenge, ami az AI-alapú szoftverfejlesztés megbízhatóságát korlátozhatja.

Benchmark-tolmács

Mit mond a hírben szereplő pontszám?

SWE-bench Verified

Valódi GitHub-hibajegyek alapján méri, hogy egy kódoló ügynök képes-e működő javítást készíteni meglévő Python-projektekben.

Pontszám: A sikeresen megoldott hibajegyek aránya; magasabb jobb. Csak azonos Verified készlet, tesztharness, agent, eszköz-, idő- és költségkeret mellett hasonlítható.
Frissesség: Korosodó
Szivárgás: Magas kockázat
Hétköznapi jel: Részleges kapcsolat

Az öt szempont részletesen

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-benchmark#szoftver-világmodell

Napi összefoglaló

Ez a hír a 2026. június 30., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Preprint: azonosság-torzítás az AI-bírák pontozásában, blokklánc a megoldásra

Egy nem lektorált arXiv-tanulmány szerint hét nagynyelvi modellt – köztük a GPT-OSS 120B-t, a Llama 3.3 70B-t és a DeepSeek V4 Pro-t – bíráló szerepben teszteltek: ezek pontozták három elsődleges modell válaszait 58 tényszerű, gondolkodási, politikai és preferenciaalapú kérdésen, anonim és azonosítóval ellátott formában is. A szerzők állítása szerint az azonosság felfedése enyhén torzítja a tényszerű kérdések pontszámát, közepesen a nehéz gondolkodási feladatokét, és nagymértékben a geopolitikailag érzékeny témákét; a GLM 5.1 pontszáma 7 ponttal, a Llama 3.3 70B-é 1,56 ponttal emelkedett szignifikánsan. A torzítás orvoslására a kutatók egy Ethereum-kompatibilis, kétfázisú „commit-reveal” blokkláncprotokollt javasolnak, amely a bírák pontszámát hash formában rögzíti, mielőtt a modellek azonossága kiderülne.

Meta-benchmarking keretrendszer pénzügyi szektorban használt nyelvi modellek célzott értékeléséhez

Egy nem lektorált tanulmány olyan meta-benchmarking keretrendszert mutat be, amely 452 nyilvános benchmarkot 41 O*NET munkatevékenységbe és 38 BIAN banki üzleti területbe szervez a nagy nyelvi modellek pénzügyi szektorra szabott értékelésére. A szerzők szerint a jelenlegi rangsorok globális átlagra optimalizálnak, így nem tükrözik a pénzügyi munka speciális követelményeit. A keretrendszer multiplikatív súlyozással és páros Elo-tornával állít elő összehasonlítható pontszámokat nyers normalizálás nélkül. A módszertant egy 2026. júniusi pillanatfelvételen demonstrálják 25 szervezet 288 modelljén, a reprodukálhatóságot szem előtt tartva.

Lebegőpontos hibák felismerése: 14 nagy nyelvi modellt teszteltek új benchmarkkal

Egy nem lektorált kutatás 14 nagy nyelvi modellt (LLM) értékelt aszerint, hogy mennyire képesek statikusan felismerni és osztályozni a lebegőpontos hibákat C forráskódban. A szerzők létrehozták az InterFLOPBench benchmarkot, amely 90 C kernelt és 1130 tesztmintát tartalmaz hat hibakategóriában: kioltás, összehasonlítás, nullával osztás, túlcsordulás, alulcsordulás és NaN. Az eredmények szerint a legújabb modellek – köztük a Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2 és a gpt-oss 20b/120b – 0,88 feletti összesített F1-pontszámot értek el. A teljesítmény hibakategóriánként eltérő: a nullával osztás átlagos F1-értéke 0,85 volt, míg az alulcsordulás (0,61) és a kioltás (0,62) esetében a modellek gyengébben teljesítettek, jelezve a finomabb numerikus jelenségek felismerésének nehézségét.

Kis brit startup AI-ügynöke állítása szerint lekörözte az OpenAI-t és az Anthropicot

Az Inherent nevű londoni AI-labor, amelyet volt Google DeepMind-kutatók alapítottak, saját közlése szerint Faraday nevű AI-ügynöke felülmúlta az Anthropic Claude Opus 4.8 és az OpenAI GPT-5.5 modelljeit egy konkrét feladatban: publikált tudományos cikkek eredményeinek önálló, előzetes válasz nélküli reprodukálásában. A cég állítása szerint a Faraday ehhez a jóval kisebb, 27 milliárd paraméteres Qwen 3.6 modellt használja a frontier-méretű riválisok helyett, és megerősítéses tanulással próbálja megtanítani neki a „kutatói érzéket” is, vagyis hogy mely kísérletek érdemesek elvégzésre. A startup nemrég 50 millió dolláros seed-körrel lépett ki a stealth módból. Az eredmények kizárólag a vállalat saját közléséből származnak, független megerősítés egyelőre nincs.