OpenAI wycofuje rekomendację benchmarku SWE-Bench Pro dla oceny modeli kodowania
OpenAI ogłosiło, że nie rekomenduje już benchmarku SWE-Bench Pro jako narzędzia do oceny modeli programistycznych. Firma opublikowała dokument wyjaśniający, jak oddzielać sygnał od szumu w ewaluacjach kodowania. Zmiana sugeruje, że dotychczasowe metryki mogły nie odzwierciedlać rzeczywistych możliwości modeli AI w programowaniu.
Komentarze
Brak komentarzy
Komentarze
Jeszcze nikt nie skomentował — napisz pierwszy 👇
Brak komentarzy. Bądź pierwszy!