2026. október 2., péntek · Eszközök

Az Olmo nyelvi modellcsalád fejlesztői bemutatták az Olmo-core 3 keretrendszert, amely a mixture-of-experts (MoE) architektúrájú modellek tanítását teszi hatékonyabbá és skálázhatóbbá akár billió paraméteres méretig. A fejlesztők állítása szerint egy benchmarkban a szakértői egységek számát 8-ról 128-ra növelték úgy, hogy tokenenként továbbra is csak négy szakértőt aktiváltak, így az aktív paraméterszám token­enként nagyjából 3,2 milliárdon maradt, miközben a teljes paraméterkapacitás 4,6 milliárdról 47 milliárdra nőtt, a tanítási áteresztőképesség pedig kevesebb mint 5 százalékkal csökkent. Az infrastruktúrát a közlés szerint már egybillió paraméter feletti modelleken is tesztelték. A korábbi, FSDP-alapú megoldást egy DDP-alapú rendszer váltja, amely a szakértőket eltérően kezeli a tanítás során. A keretrendszer a korábbi OlmoE és a dense architektúrájú Olmo 3 után az első, kifejezetten nagy MoE-modellekre tervezett nyílt tréningrendszer a sorozatban.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.