Benchmark : définition
Jeu de tests standardisé qui sert à mesurer et comparer les performances des modèles sur une tâche donnée : raisonnement, code, mathématiques. MMLU, GPQA ou SWE-bench sont des benchmarks connus. Ils restent imparfaits, car les modèles finissent parfois par s'y sur-entraîner.
Dit simplement
Un benchmark est un examen commun que l’on fait passer aux modèles pour les comparer : mêmes questions, même barème.
Un exemple
SWE-bench donne aux modèles de vrais bugs tirés de projets open source et compte combien ils en corrigent. Le score sert d’argument à chaque sortie de modèle.
Pourquoi ça compte
Les benchmarks orientent les annonces et les choix d’achat, mais un bon score ne garantit pas un bon résultat sur ton cas. Le test le plus fiable reste d’essayer le modèle sur tes propres tâches.
À lire ensuite
- Reasoning modelModèle entraîné spécifiquement pour passer du temps à raisonner avant de répondre, en générant en interne…
- AGIIA hypothétique qui serait aussi compétente qu'un humain sur l'ensemble des tâches cognitives. Définition…
- HallucinationQuand un LLM invente des faits qui paraissent crédibles mais sont faux. Cause majeure de méfiance envers ces…
- Scaling lawsRégularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire