Aller au contenu

Token : définition

Unité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de ponctuation. Le modèle ne lit pas du texte, il lit une séquence de tokens et en prédit la suite, token par token.

Dit simplement

Un token est un petit morceau de texte. Le modèle ne voit ni lettres ni mots : il voit une suite de ces morceaux, chacun représenté par un numéro.

Un exemple

En français, un mot courant fait souvent un seul token, un mot rare ou long en fait deux ou trois. Compte en gros 100 tokens pour 75 mots.

Pourquoi ça compte

Tout se mesure en tokens : la taille de ce que tu peux donner au modèle, la longueur de sa réponse, et la facture quand tu passes par une API.

Ces mots, tu les croises chaque jeudi dans Hypernews IA.

Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.

S’inscrire