Foundation model : définition
Modèle de très grande taille pré-entraîné sur un corpus massif et générique, conçu pour servir de base à de nombreuses applications après spécialisation. Le terme a été popularisé par Stanford en 2021.
Dit simplement
Un modèle de fondation est un grand modèle généraliste, entraîné une fois à grands frais, que l’on adapte ensuite à des centaines d’usages différents.
Un exemple
Le même modèle sert à un assistant juridique, à un outil de traduction et à un générateur de code. Chaque produit y ajoute ses consignes, ses données et ses outils.
Pourquoi ça compte
Cela concentre la technologie chez les quelques acteurs capables de financer l’entraînement, et déplace la concurrence vers ce que chacun construit par-dessus.
À lire ensuite
- LLMModèle de langage de très grande taille, souvent plusieurs centaines de milliards de paramètres, entraîné à…
- Fine-tuningEntraînement supplémentaire d'un modèle pré-existant sur un jeu de données spécifique pour le spécialiser…
- Scaling lawsRégularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la…
- Open-weightsModèle dont les poids sont publiquement téléchargeables, mais dont les données d'entraînement et le code…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire