Aller au contenu

Mixture of Experts : définition

MoE

Architecture où plusieurs sous-réseaux spécialisés (les « experts ») sont activés sélectivement selon l'input. Permet des modèles très grands au coût d'inférence réduit. Mixtral, GPT-4 et DeepSeek V3 utilisent du MoE.

Dit simplement

Dans un modèle Mixture of Experts, toutes les parties du réseau ne travaillent pas à chaque mot. Un aiguilleur choisit les quelques spécialistes utiles pour le texte en cours, les autres restent au repos.

Un exemple

Un modèle de plusieurs centaines de milliards de paramètres peut n’en activer qu’une fraction pour chaque token, ce qui le rend bien moins coûteux à faire tourner qu’un modèle dense de même taille.

Pourquoi ça compte

C’est une des recettes qui permettent d’augmenter la taille des modèles sans faire exploser la facture d’inférence.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire