Aller au contenu

Distillation : définition

Technique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle « distillé » garde une bonne partie des capacités de l'original pour une fraction du coût et de la taille, ce qui le rend utilisable sur des appareils modestes.

Dit simplement

La distillation fait d’un grand modèle le professeur d’un petit. L’élève apprend à reproduire les réponses du maître et en garde l’essentiel, en beaucoup plus léger.

Un exemple

Les versions rapides et bon marché des grands modèles sont souvent obtenues ainsi : presque aussi bonnes sur les tâches courantes, bien moins chères à faire tourner.

Pourquoi ça compte

C’est ce qui fait descendre les capacités des meilleurs modèles vers des versions accessibles à tous. C’est aussi un sujet de tension, quand un laboratoire en accuse un autre d’avoir distillé son modèle sans autorisation.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire