Aller au contenu

Inférence : définition

Phase d'utilisation d'un modèle déjà entraîné, par opposition à la phase d'entraînement. À grande échelle, le coût d'inférence (en GPU et en énergie) dépasse largement celui de l'entraînement.

Dit simplement

L’inférence, c’est le moment où le modèle travaille pour toi. L’entraînement l’a fabriqué une fois, l’inférence le fait tourner à chaque question.

Un exemple

Chaque message envoyé à un assistant déclenche une inférence sur un serveur équipé de cartes graphiques. Multiplié par des centaines de millions d’utilisateurs, cela donne des centres de données entiers.

Pourquoi ça compte

C’est là que se trouvent les coûts récurrents, la consommation d’énergie et les délais de réponse. Une bonne part de la course aux puces et aux centres de données vise l’inférence.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire