Aller au contenu

RLHF : définition

Reinforcement Learning from Human Feedback

Méthode utilisée pour aligner un modèle de langage avec les préférences humaines. Des annotateurs humains classent plusieurs réponses du modèle, et un autre modèle apprend de ces classements pour récompenser le LLM. C'est la sauce secrète qui a transformé GPT-3 en ChatGPT.

Dit simplement

Le RLHF apprend au modèle ce que les humains préfèrent. Des personnes comparent ses réponses, et on l’ajuste pour qu’il produise plus souvent celles qui ont été jugées meilleures.

Un exemple

Entre une réponse exacte mais sèche et une réponse exacte, claire et polie, les annotateurs choisissent la seconde. Répété des millions de fois, ce tri donne au modèle ses manières d’assistant.

Pourquoi ça compte

C’est une des étapes qui séparent un modèle brut, qui complète du texte, d’un assistant qui répond utilement. Elle explique aussi certains travers, comme la tendance à flatter l’utilisateur.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire