Scaling laws : définition
Régularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la puissance de calcul mobilisée pour l'entraîner. Ce sont elles qui ont justifié la course aux modèles toujours plus grands, tant que les gains suivaient.
Dit simplement
Les scaling laws disent une chose simple : quand on augmente ensemble la taille du modèle, les données et la puissance de calcul, les performances montent de façon prévisible.
Un exemple
C’est le pari de la course actuelle. Si doubler les moyens donne à coup sûr un meilleur modèle, il devient rationnel d’investir des dizaines de milliards dans des centres de données.
Pourquoi ça compte
Toute la stratégie des grands laboratoires repose sur elles. La question qui divise les chercheurs est de savoir jusqu’où elles tiennent, et si elles suffisent à atteindre l’AGI.
À lire ensuite
- AGIIA hypothétique qui serait aussi compétente qu'un humain sur l'ensemble des tâches cognitives. Définition…
- Foundation modelModèle de très grande taille pré-entraîné sur un corpus massif et générique, conçu pour servir de base à de…
- TransformerArchitecture de réseau de neurones introduite en 2017 par Google dans le papier « Attention Is All You Need…
- BenchmarkJeu de tests standardisé qui sert à mesurer et comparer les performances des modèles sur une tâche donnée :…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire