Aller au contenu

Quantization : définition

Technique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits. Permet de faire tourner des LLM sur du matériel plus modeste (laptop, smartphone) avec une perte de qualité limitée.

Dit simplement

La quantization allège un modèle en arrondissant ses nombres. Chaque poids est stocké avec moins de précision, le fichier fond, et la qualité baisse peu.

Un exemple

Un modèle de 30 Go en pleine précision peut descendre sous les 10 Go une fois quantifié, et tourner sur un ordinateur portable récent au lieu d’un serveur.

Pourquoi ça compte

Elle rend possible l’IA locale, sur ton ordinateur ou ton téléphone, sans connexion et sans envoyer tes données ailleurs.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire