Coût d'inférence : définition
Prix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé d'un facteur 100 entre 2023 et 2025 pour des capacités équivalentes, ce qui rend l'IA viable économiquement à grande échelle.
Dit simplement
Le coût d’inférence, c’est le prix à payer chaque fois que le modèle lit et écrit. Il se compte en tokens, à l’entrée comme à la sortie.
Un exemple
Faire résumer un rapport de 50 pages coûte quelques centimes avec un modèle haut de gamme, et une fraction de centime avec un petit modèle. Sur un million de documents, l’écart devient un vrai sujet de budget.
Pourquoi ça compte
Sa baisse rapide rend rentables des usages qui ne l’étaient pas, comme faire relire chaque e-mail entrant ou laisser un agent tourner des heures. Elle pèse autant que les progrès des modèles dans ce qui devient possible.
À lire ensuite
- TokenUnité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de…
- InférencePhase d'utilisation d'un modèle déjà entraîné, par opposition à la phase d'entraînement. À grande échelle,…
- QuantizationTechnique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits.…
- DistillationTechnique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle…
- Mixture of ExpertsArchitecture où plusieurs sous-réseaux spécialisés (les « experts ») sont activés sélectivement selon…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire