Context window : définition
Quantité maximale de tokens qu'un modèle peut traiter en une seule requête. Détermine combien de texte tu peux lui donner d'un coup. Les modèles modernes vont de 128K (GPT-4) à 1-2 millions de tokens (Gemini, Claude).
Dit simplement
La fenêtre de contexte, c’est la mémoire de travail du modèle pendant une conversation : tout ce qu’il a sous les yeux au moment de répondre. Ce qui dépasse en sort, et il ne s’en souvient plus.
Un exemple
Tu colles un contrat de 200 pages et tu poses dix questions. Si l’ensemble tient dans la fenêtre, le modèle répond en ayant tout le contrat en tête. Sinon, il faut le découper ou passer par du RAG.
Pourquoi ça compte
Une grande fenêtre change ce que tu peux confier à un modèle : un dépôt de code entier, une année de comptes rendus. Elle a aussi un coût, puisque chaque token lu se paie.
À lire ensuite
- TokenUnité de base manipulée par un LLM. Un token peut être un mot entier, un morceau de mot, ou un signe de…
- RAGTechnique qui consiste à récupérer des documents pertinents dans une base de connaissances avant de les…
- Coût d'inférencePrix pour faire tourner un modèle, généralement exprimé en euros ou dollars par million de tokens. A baissé…
- Agent IALLM doté de la capacité d'utiliser des outils en autonomie : faire des recherches web, exécuter du code,…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire