Un token est l'unité élémentaire que les modèles de langage utilisent pour traiter le texte. Ce n'est ni un mot ni un caractère : c'est un fragment de texte dont la taille varie selon la fréquence d'apparition dans les données d'entraînement. En anglais, un token correspond approximativement à 0,75 mot. En français, la proportion est légèrement différente en raison de la morphologie de la langue.
Quand vous envoyez un texte à un LLM, celui-ci le découpe d'abord en tokens avant tout traitement. "Bonjour" peut être un seul token. "Incompréhensible" peut en être plusieurs. "ChatGPT" est probablement deux tokens. Cette tokenisation détermine comment le modèle "lit" votre texte, ce qu'il peut retenir dans sa fenêtre de contexte, et combien chaque interaction coûte.
Pour les équipes qui intègrent des LLM dans leurs workflows, comprendre les tokens est essentiel pour optimiser les coûts, gérer les limites de contexte, et structurer les prompts de manière efficace.
Fenêtre de contexte et tokens : les limites à connaître
Chaque LLM a une "fenêtre de contexte" mesurée en tokens : c'est le nombre maximum de tokens que le modèle peut traiter en une seule fois, incluant l'historique de conversation, le prompt système et la réponse générée. GPT-3.5 avait une fenêtre de 4096 tokens. GPT-4 Turbo atteint 128 000 tokens. Claude 3.5 Sonnet accepte 200 000 tokens. Ces chiffres évoluent rapidement.
La fenêtre de contexte détermine combien d'informations un LLM peut "garder en tête" simultanément. Pour les systèmes RAG, c'est crucial : le nombre de documents récupérés qui peuvent être injectés dans le contexte est directement limité par cette fenêtre. Pour les conversations longues, un dépassement de contexte entraîne l'oubli des premiers échanges.
Pour les entreprises qui utilisent des LLM en interne, la gestion du contexte est un défi opérationnel réel. Des techniques comme la compression de contexte, la sélection des passages pertinents, ou l'utilisation de mémoire externe (via RAG) permettent de travailler efficacement même avec des informations dépassant la fenêtre native.
Tokens et coûts des API LLM
La tarification des API LLM est quasi-universellement basée sur le nombre de tokens traités, avec des prix distincts pour les tokens en entrée (input) et en sortie (output). Les tokens de sortie sont généralement deux à cinq fois plus chers que les tokens d'entrée, car la génération est computationnellement plus intensive que la lecture.
Ces coûts s'accumulent rapidement dans les applications de production. Un chatbot qui traite 10 000 conversations par jour avec des contextes de 2000 tokens peut générer des factures d'API significatives. L'optimisation des prompts pour réduire les tokens inutiles, la compression des historiques de conversation, et le choix du bon modèle pour chaque tâche sont des leviers d'optimisation économique directs.
Un principe important : la qualité d'un prompt n'est pas proportionnelle à sa longueur. Un prompt concis et précis produit souvent de meilleurs résultats qu'un prompt verbeux qui dilue l'instruction dans du texte superflu. C'est la convergence de l'efficacité économique et de la performance technique.
Tokens et stratégie de contenu pour la visibilité IA
La logique des tokens a des implications directes sur la manière dont les LLM traitent votre contenu web. Quand un système RAG découpe votre page en chunks pour l'indexer, il travaille avec des fenêtres de tokens. Un chunk trop long dépasse la capacité de traitement optimal. Un chunk trop court manque de contexte pour être sémantiquement riche.
La taille idéale d'un chunk pour la récupération sémantique oscille généralement entre 200 et 500 tokens, soit 150 à 375 mots en français. Cette donnée devrait informer la structure de vos contenus : des sections bien délimitées avec un début et une fin logiques, chacune traitant un sous-thème cohérent, sont plus facilement récupérées par les systèmes RAG que des blocs de texte continus.
Pour aller plus loin sur l'optimisation de votre contenu pour les LLM, consultez notre guide visibilité IA 2026 et notre page sur le vector search.
Comment fonctionne la tokenisation
La tokenisation est réalisée par un "tokenizer", un algorithme spécifique à chaque famille de modèles. GPT utilise BPE (Byte Pair Encoding), d'autres modèles utilisent SentencePiece ou WordPiece. Ces algorithmes découpent le texte en fragments en s'appuyant sur les fréquences statistiques : les mots très courants comme "le", "de" ou "the" sont généralement des tokens uniques, tandis que les mots rares sont découpés en plusieurs sous-unités.
La tokenisation a des implications pratiques importantes. Une langue comme le français, avec ses préfixes, suffixes et accents, génère généralement plus de tokens par mot qu'une langue comme l'anglais. Un texte juridique dense en termes techniques produit plus de tokens par phrase qu'un texte conversationnel. Ces différences influencent directement les coûts d'API et les capacités de traitement.
Pour les développeurs, des outils comme le tokenizer d'OpenAI permettent de visualiser exactement comment un texte sera découpé avant d'être envoyé au modèle. Cette visualisation est précieuse pour optimiser les prompts et anticiper les limites de contexte.