Quantization : définition
Technique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits. Permet de faire tourner des LLM sur du matériel plus modeste (laptop, smartphone) avec une perte de qualité limitée.
Dit simplement
La quantization allège un modèle en arrondissant ses nombres. Chaque poids est stocké avec moins de précision, le fichier fond, et la qualité baisse peu.
Un exemple
Un modèle de 30 Go en pleine précision peut descendre sous les 10 Go une fois quantifié, et tourner sur un ordinateur portable récent au lieu d’un serveur.
Pourquoi ça compte
Elle rend possible l’IA locale, sur ton ordinateur ou ton téléphone, sans connexion et sans envoyer tes données ailleurs.
À lire ensuite
- Open-weightsModèle dont les poids sont publiquement téléchargeables, mais dont les données d'entraînement et le code…
- DistillationTechnique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle…
- InférencePhase d'utilisation d'un modèle déjà entraîné, par opposition à la phase d'entraînement. À grande échelle,…
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire