Aller au contenu

Benchmark : définition

Jeu de tests standardisé qui sert à mesurer et comparer les performances des modèles sur une tâche donnée : raisonnement, code, mathématiques. MMLU, GPQA ou SWE-bench sont des benchmarks connus. Ils restent imparfaits, car les modèles finissent parfois par s'y sur-entraîner.

Dit simplement

Un benchmark est un examen commun que l’on fait passer aux modèles pour les comparer : mêmes questions, même barème.

Un exemple

SWE-bench donne aux modèles de vrais bugs tirés de projets open source et compte combien ils en corrigent. Le score sert d’argument à chaque sortie de modèle.

Pourquoi ça compte

Les benchmarks orientent les annonces et les choix d’achat, mais un bon score ne garantit pas un bon résultat sur ton cas. Le test le plus fiable reste d’essayer le modèle sur tes propres tâches.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire