RLHF : définition
Reinforcement Learning from Human Feedback
Méthode utilisée pour aligner un modèle de langage avec les préférences humaines. Des annotateurs humains classent plusieurs réponses du modèle, et un autre modèle apprend de ces classements pour récompenser le LLM. C'est la sauce secrète qui a transformé GPT-3 en ChatGPT.
Dit simplement
Le RLHF apprend au modèle ce que les humains préfèrent. Des personnes comparent ses réponses, et on l’ajuste pour qu’il produise plus souvent celles qui ont été jugées meilleures.
Un exemple
Entre une réponse exacte mais sèche et une réponse exacte, claire et polie, les annotateurs choisissent la seconde. Répété des millions de fois, ce tri donne au modèle ses manières d’assistant.
Pourquoi ça compte
C’est une des étapes qui séparent un modèle brut, qui complète du texte, d’un assistant qui répond utilement. Elle explique aussi certains travers, comme la tendance à flatter l’utilisateur.
À lire ensuite
- Fine-tuningEntraînement supplémentaire d'un modèle pré-existant sur un jeu de données spécifique pour le spécialiser…
- LLMModèle de langage de très grande taille, souvent plusieurs centaines de milliards de paramètres, entraîné à…
- HallucinationQuand un LLM invente des faits qui paraissent crédibles mais sont faux. Cause majeure de méfiance envers ces…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire