Mixture of Experts : définition
MoE
Architecture où plusieurs sous-réseaux spécialisés (les « experts ») sont activés sélectivement selon l'input. Permet des modèles très grands au coût d'inférence réduit. Mixtral, GPT-4 et DeepSeek V3 utilisent du MoE.
Dit simplement
Dans un modèle Mixture of Experts, toutes les parties du réseau ne travaillent pas à chaque mot. Un aiguilleur choisit les quelques spécialistes utiles pour le texte en cours, les autres restent au repos.
Un exemple
Un modèle de plusieurs centaines de milliards de paramètres peut n’en activer qu’une fraction pour chaque token, ce qui le rend bien moins coûteux à faire tourner qu’un modèle dense de même taille.
Pourquoi ça compte
C’est une des recettes qui permettent d’augmenter la taille des modèles sans faire exploser la facture d’inférence.
À lire ensuite
- TransformerArchitecture de réseau de neurones introduite en 2017 par Google dans le papier « Attention Is All You Need…
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
- InférencePhase d'utilisation d'un modèle déjà entraîné, par opposition à la phase d'entraînement. À grande échelle,…
- Scaling lawsRégularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire