Inférence : définition
Phase d'utilisation d'un modèle déjà entraîné, par opposition à la phase d'entraînement. À grande échelle, le coût d'inférence (en GPU et en énergie) dépasse largement celui de l'entraînement.
Dit simplement
L’inférence, c’est le moment où le modèle travaille pour toi. L’entraînement l’a fabriqué une fois, l’inférence le fait tourner à chaque question.
Un exemple
Chaque message envoyé à un assistant déclenche une inférence sur un serveur équipé de cartes graphiques. Multiplié par des centaines de millions d’utilisateurs, cela donne des centres de données entiers.
Pourquoi ça compte
C’est là que se trouvent les coûts récurrents, la consommation d’énergie et les délais de réponse. Une bonne part de la course aux puces et aux centres de données vise l’inférence.
À lire ensuite
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
- QuantizationTechnique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits.…
- TokenUnité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de…
- DistillationTechnique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire