Distillation : définition
Technique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle « distillé » garde une bonne partie des capacités de l'original pour une fraction du coût et de la taille, ce qui le rend utilisable sur des appareils modestes.
Dit simplement
La distillation fait d’un grand modèle le professeur d’un petit. L’élève apprend à reproduire les réponses du maître et en garde l’essentiel, en beaucoup plus léger.
Un exemple
Les versions rapides et bon marché des grands modèles sont souvent obtenues ainsi : presque aussi bonnes sur les tâches courantes, bien moins chères à faire tourner.
Pourquoi ça compte
C’est ce qui fait descendre les capacités des meilleurs modèles vers des versions accessibles à tous. C’est aussi un sujet de tension, quand un laboratoire en accuse un autre d’avoir distillé son modèle sans autorisation.
À lire ensuite
- QuantizationTechnique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits.…
- Fine-tuningEntraînement supplémentaire d'un modèle pré-existant sur un jeu de données spécifique pour le spécialiser…
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
- Données synthétiquesDonnées générées artificiellement, souvent par un autre modèle d'IA, plutôt que collectées dans le monde…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire