Fine-tuning : définition
Entraînement supplémentaire d'un modèle pré-existant sur un jeu de données spécifique pour le spécialiser sur une tâche ou un domaine. Beaucoup moins coûteux qu'un entraînement from scratch.
Dit simplement
Le fine-tuning reprend un modèle déjà entraîné et lui donne une formation complémentaire sur tes propres exemples, pour qu’il adopte un ton, un format ou un savoir-faire précis.
Un exemple
Une entreprise affine un modèle sur quelques milliers de réponses de son service client pour qu’il réponde dans son style, avec son vocabulaire et ses règles de politesse.
Pourquoi ça compte
Il sert quand la consigne et le RAG ne suffisent plus, surtout pour un style ou une tâche très répétitive. Il demande des données propres et se refait à chaque nouveau modèle, ce qui en fait rarement le premier choix.
À lire ensuite
- RAGTechnique qui consiste à récupérer des documents pertinents dans une base de connaissances avant de les…
- DistillationTechnique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle…
- Foundation modelModèle de très grande taille pré-entraîné sur un corpus massif et générique, conçu pour servir de base à de…
- Données synthétiquesDonnées générées artificiellement, souvent par un autre modèle d'IA, plutôt que collectées dans le monde…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire