2026. július 22., szerda · Eszközök

Az NVIDIA GB300 NVL72 világrekordot állított a DeepSeek-V3 671B MoE-modell előtanításában

Az NVIDIA saját technikai blogján jelentette be, hogy a GB300 NVL72 rendszer GPU-nként 1 648 TFLOPS teljesítménnyel világrekordot ért el a DeepSeek-V3 671B paraméteres Mixture of Experts (MoE) modell előtanításában. A vállalat szerint a teljesítmény kulcsa a teljes rack-szintű együttervezés: az ötödik generációs NVLink GPU-nként 1,8 TB/s sávszélességet és összesen 130 TB/s nem blokkoló all-to-all kommunikációt biztosít. Az NVIDIA állítása alapján szoftveres optimalizálásokkal – a Megatron Core, a TorchTitan és a JAX keretrendszerek révén – 3–10-szeres teljesítménynövekedést értek el az előző generációhoz képest, miközben a GPU-nkénti áteresztőképesség 256-ról 1 024 GPU-ra skálázva is 97% felett maradt. A MoE-architektúrák hatékonyságának lényege, hogy a tokenek csak a paraméterek kis részhalmazát aktiválják, ami viszont fokozott kommunikációs igényt támaszt a GPU-k között.