Transformer : définition
Architecture de réseau de neurones introduite en 2017 par Google dans le papier « Attention Is All You Need ». C'est la base de tous les LLM modernes. Le mécanisme central est l'attention, qui permet au modèle de pondérer dynamiquement l'importance de chaque mot du contexte.
Dit simplement
Le Transformer est le plan de construction commun aux modèles de langage actuels. Sa trouvaille : pour comprendre un mot, le modèle regarde tous les autres mots du texte en même temps et décide lesquels comptent le plus.
Un exemple
Dans « la banque a refusé le prêt parce qu’elle manquait de fonds », le mécanisme d’attention relie « elle » à « la banque ». Le modèle fait ce genre de lien à chaque mot, sur des milliers de mots à la fois.
Pourquoi ça compte
Cette architecture se prête très bien au calcul en parallèle sur des cartes graphiques. C’est elle qui a permis d’entraîner des modèles de plus en plus grands, et donc l’explosion des LLM. Le « T » de GPT vient de là.
À lire ensuite
- LLMModèle de langage de très grande taille, souvent plusieurs centaines de milliards de paramètres, entraîné à…
- TokenUnité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de…
- Scaling lawsRégularités observées qui relient la performance d'un modèle à sa taille, à la quantité de données et à la…
- Mixture of ExpertsArchitecture où plusieurs sous-réseaux spécialisés (les « experts ») sont activés sélectivement selon…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire