SWE-bench Verified
Valódi GitHub-hibajegyek alapján méri, hogy egy kódoló ügynök képes-e működő javítást készíteni meglévő Python-projektekben.
- Adatszivárgás
- Magas kockázat
- Hétköznapi jel
- Részleges kapcsolat
Benchmark-tolmács · ellenőrizve 26 napja
Egy magas szám önmagában nem bizonyítja, hogy a modell jobb lesz neked. Megmutatjuk, mit mér a teszt, mit hagy ki, mennyire friss, szivároghatott-e a tesztadat, és mennyi köze van a hétköznapi használathoz.
Valódi GitHub-hibajegyek alapján méri, hogy egy kódoló ügynök képes-e működő javítást készíteni meglévő Python-projektekben.