2026. augusztus 7., péntek · Kutatás

AI-ügynökök fedeztek fel évtizedes hibákat tudományos adatbázisokban

A Nature cikke szerint Sebastian Pios, a Zhejiang Lab kémikusa egy AI-modellel próbálta molekulák forráspontját előre jelezni, amikor az eltért egy 75 éves referencia-adatbázis értékeitől. A szakirodalom manuális ellenőrzése kimutatta, hogy nem az AI, hanem a régi adatbázis tartalmazott hibás, évtizedek óta elfogadott adatokat, köztük egy elírást és téves, évszázados forráspont-méréseket. Egy másik, nem lektorált elemzésben a SAI Labs nevű cég AI-ügynökökkel vizsgált 168, a 2026-os ICML konferenciára kiválasztott tanulmányt: a legalább öt ellenőrizhető állítást tartalmazó 92 cikk közül csak 34-nél sikerült az állítások több mint kétötödét reprodukálni, és mindössze nyolc cikknél haladta meg ez az arány a 80%-ot. A cikkben megkérdezett szakértő, Odd Erik Gundersen szerint az ilyen AI-alapú ellenőrző eszközök még nem megbízhatóak.

Miért fontos?

A hír azt mutatja, hogy az AI-ügynökök egyrészt valódi, régóta rejtett hibákat tárhatnak fel a szakirodalomban, másrészt a tudományos állítások automatikus reprodukálása még jelentős korlátokkal küzd.

Források

Nature Tudományos

Említve a tudásbázisban

szál Az AI-ügynökök térhódítása és korlátai

Kapcsolódó témák

Napi összefoglalók AI kutatás #tudományos adatellenőrzés#ICML reprodukálhatóság

Napi összefoglaló

Ez a hír a 2026. augusztus 7., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Kis brit startup AI-ügynöke állítása szerint lekörözte az OpenAI-t és az Anthropicot

Az Inherent nevű londoni AI-labor, amelyet volt Google DeepMind-kutatók alapítottak, saját közlése szerint Faraday nevű AI-ügynöke felülmúlta az Anthropic Claude Opus 4.8 és az OpenAI GPT-5.5 modelljeit egy konkrét feladatban: publikált tudományos cikkek eredményeinek önálló, előzetes válasz nélküli reprodukálásában. A cég állítása szerint a Faraday ehhez a jóval kisebb, 27 milliárd paraméteres Qwen 3.6 modellt használja a frontier-méretű riválisok helyett, és megerősítéses tanulással próbálja megtanítani neki a „kutatói érzéket” is, vagyis hogy mely kísérletek érdemesek elvégzésre. A startup nemrég 50 millió dolláros seed-körrel lépett ki a stealth módból. Az eredmények kizárólag a vállalat saját közléséből származnak, független megerősítés egyelőre nincs.

Kutatás: az AI-biztonsági tesztek megjátszhatók és félrevezetőek

Egy brit UK AI Security Institute kutatóit is tartalmazó csapat pszichológiai tesztelésből ismert módszerekkel vizsgált meg nyolc népszerű nyelvimodell-biztonsági benchmarkot, 192 modell több mint 5000 kérdésre adott válaszát elemezve. A tanulmány szerint az egyetlen „biztonsági pontszám” valójában három, egymástól nagyrészt független tulajdonságot kever össze: a kérések elutasításának szigorát, a válaszok igazmondását és a kontextustól függő ártalmas tartalmak kezelését. A HarmBench és az OR-Bench-Hard benchmark ellentétes irányba mozdítja a pontszámot, így egy modell puszta elutasítási hajlandósággal is javíthatja összesített értékelését, miközben kevésbé hasznossá válik. A kutatók szerint a kérdéseknek mindössze kevesebb mint 2 százaléka hordoz tényleges mérési információt.

Kutatók: az AI világmodelleknek az emberi hiedelmeket is figyelembe kellene venniük

Egy friss, még nem lektorált tanulmány szerint a mai AI világmodellek – például a Sora, a Genie 3, a JEPA vagy a Marble – csak a fizikai világot írják le: tárgyakat, mozgást, pozíciókat, de nem azt, mit hisznek vagy akarnak az emberek. A szerzők példája szerint ha valakinek úgy mozdítják el a bögréjét, hogy nem látja, egy tisztán fizikai modell helyesen ábrázolja a jelenetet, mégis rossz cselekvést jósol, mert nem tudja, hogy az illető a régi helyen keresi a tárgyat. Ezért egy „Mental World Modeling” nevű keretrendszert és annak MENTIS nevű referencia-implementációját javasolják, amely hiedelmeket, szándékokat és normákat is beépít. A szerzők – a preprintben – azt állítják, hogy ez jelentősen javította a nyelvi modellek emberi viselkedés-előrejelzési pontosságát, de hangsúlyozzák, hogy nem tudatosságot szimulálnak, csak viselkedésből levezetett hipotéziseket.

Ágensalapú keretrendszer szigorítaná az AI tudományos elemzéseit

Kutatók bemutatták a Brain Researcher nevű ágensalapú keretrendszert, amely neuroimaging-adatelemzés során kényszeríti ki a módszertani fegyelmet: rögzíti a megengedett elemzéseket, a kötelező ellenőrzéseket és az állítások érvényességi körét. Az eredmény egy nem lektorált arXiv-preprintben jelent meg, amelyben a szerzők állítása szerint hét modell esetén az eszközválasztási pontosság 23,3 százalékról 93,6 százalékra nőtt, az ellenőrizhető megalapozottság pedig 4,6-ról 22,0 százalékra emelkedett. A rendszer multiverzum-elemzésekkel tárja fel az eredmények módszertani érzékenységét, a tudományos felülvizsgálat pedig elfogadott, feltételes, felülvizsgált, blokkolt, elutasított vagy elhalasztott kategóriákba sorolja az állításokat, hogy az ítélőképesség már munka közben érvényesüljön.