2026. július 15., szerda · Kutatás

Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

Miért fontos?

A kutatás szerint az LLM-ek orvosi tudása önmagában nem elegendő: a valós klinikai döntéshozatalhoz szükséges aktív információkeresés szisztematikusan kudarcot vall.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #klinikai döntéshozatal#LLM-értékelés

Napi összefoglaló

Ez a hír a 2026. július 15., szerda napi AI összefoglaló része.

Kapcsolódó hírek

LivingArena: nyelvi modellek egymást tesztelik, hogy kiderüljenek gyengeségeik

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.

Orvosi mesterséges intelligencia biztonságosságát torzítja az értékelő személye – hiányzó információ mellett

Egy nem lektorált kutatás négy nagy nyelvi modell (Claude Opus 4.8, GPT-5.5, Grok 4.3 és Gemini 3.5 Flash) orvosi biztonságosságát vizsgálta nyílt végű klinikai beszélgetésekben, ahol szándékosan hiányos információt kaptak a modellek. A szerzők szerint az értékelő megválasztása érdemben befolyásolja az eredményt: a négy LLM-bíró közötti egyezés csak közepes (Fleiss-kappa 0,65), és kimutatható pozitív torzítás, ha egy modellt saját szolgáltatójának bírája értékel. Az LLM-bírák ráadásul szignifikánsan engedékenyebbek voltak, mint a vakított klinikai szakértők: 66–84%-ban ismerték el a megfelelő bizonytalanságot, szemben a klinikus 52%-ával. A kutatók hangsúlyozzák, hogy a biztonsági rés nem tudáshiányból, hanem a kalibrációból ered, amit egy zárt végű MedQA-teszttel is alátámasztanak. A csoport a teljes tesztkeretrendszert, promptokat és annotációs protokollt nyilvánosan elérhetővé tette.

Kis brit startup AI-ügynöke állítása szerint lekörözte az OpenAI-t és az Anthropicot

Az Inherent nevű londoni AI-labor, amelyet volt Google DeepMind-kutatók alapítottak, saját közlése szerint Faraday nevű AI-ügynöke felülmúlta az Anthropic Claude Opus 4.8 és az OpenAI GPT-5.5 modelljeit egy konkrét feladatban: publikált tudományos cikkek eredményeinek önálló, előzetes válasz nélküli reprodukálásában. A cég állítása szerint a Faraday ehhez a jóval kisebb, 27 milliárd paraméteres Qwen 3.6 modellt használja a frontier-méretű riválisok helyett, és megerősítéses tanulással próbálja megtanítani neki a „kutatói érzéket” is, vagyis hogy mely kísérletek érdemesek elvégzésre. A startup nemrég 50 millió dolláros seed-körrel lépett ki a stealth módból. Az eredmények kizárólag a vállalat saját közléséből származnak, független megerősítés egyelőre nincs.

Kutatás: az AI-biztonsági tesztek megjátszhatók és félrevezetőek

Egy brit UK AI Security Institute kutatóit is tartalmazó csapat pszichológiai tesztelésből ismert módszerekkel vizsgált meg nyolc népszerű nyelvimodell-biztonsági benchmarkot, 192 modell több mint 5000 kérdésre adott válaszát elemezve. A tanulmány szerint az egyetlen „biztonsági pontszám” valójában három, egymástól nagyrészt független tulajdonságot kever össze: a kérések elutasításának szigorát, a válaszok igazmondását és a kontextustól függő ártalmas tartalmak kezelését. A HarmBench és az OR-Bench-Hard benchmark ellentétes irányba mozdítja a pontszámot, így egy modell puszta elutasítási hajlandósággal is javíthatja összesített értékelését, miközben kevésbé hasznossá válik. A kutatók szerint a kérdéseknek mindössze kevesebb mint 2 százaléka hordoz tényleges mérési információt.