Aller au contenu

Scaling laws : définition

Régularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la puissance de calcul mobilisée pour l'entraîner. Ce sont elles qui ont justifié la course aux modèles toujours plus grands, tant que les gains suivaient.

Dit simplement

Les scaling laws disent une chose simple : quand on augmente ensemble la taille du modèle, les données et la puissance de calcul, les performances montent de façon prévisible.

Un exemple

C’est le pari de la course actuelle. Si doubler les moyens donne à coup sûr un meilleur modèle, il devient rationnel d’investir des dizaines de milliards dans des centres de données.

Pourquoi ça compte

Toute la stratégie des grands laboratoires repose sur elles. La question qui divise les chercheurs est de savoir jusqu’où elles tiennent, et si elles suffisent à atteindre l’AGI.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire