Token : définition
Unité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de ponctuation. Le modèle ne lit pas du texte, il lit une séquence de tokens et en prédit la suite, token par token.
Dit simplement
Un token est un petit morceau de texte. Le modèle ne voit ni lettres ni mots : il voit une suite de ces morceaux, chacun représenté par un numéro.
Un exemple
En français, un mot courant fait souvent un seul token, un mot rare ou long en fait deux ou trois. Compte en gros 100 tokens pour 75 mots.
Pourquoi ça compte
Tout se mesure en tokens : la taille de ce que tu peux donner au modèle, la longueur de sa réponse, et la facture quand tu passes par une API.
À lire ensuite
- Context windowQuantité maximale de tokens qu'un modèle peut traiter en une seule requête. Détermine combien de texte tu…
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
- LLMModèle de langage de très grande taille, souvent plusieurs centaines de milliards de paramètres, entraîné à…
- EmbeddingReprésentation numérique d'un texte sous forme de vecteur (une longue liste de nombres). Deux textes…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire