Alias
Token. Ici, il ne s'agit pas d'un jeton d'authentification.
Définition
Pour le texte, la tokenisation découpe la matière en unités que le modèle manipule. Un mot peut correspondre à plusieurs jetons. La correspondance dépend notamment du modèle, de la langue et du contenu.
Les jetons servent à mesurer l'espace occupé et, selon l'offre, une partie du coût. Instructions, historique et résultats d'outils peuvent s'ajouter au document. Compter seulement les pages du PDF ne permet donc pas d'estimer correctement une requête.
Exemple
Exemple pédagogique : une équipe compare deux façons de préparer un comité. Elle mesure séparément les entrées, les sorties et les reprises nécessaires sur le même dossier. Un prompt plus court n'est avantageux que si le livrable conserve la qualité requise.
À ne pas confondre avec
Le compteur de mots est une mesure éditoriale. Le compteur de jetons est propre au traitement du modèle. Utiliser le compteur adapté au modèle visé, puis vérifier la consommation réellement rapportée.
Voir aussi
Fenêtre de contexte, grand modèle de langage, prompt.
Sources
Anthropic — Token counting (nouvel onglet). Les règles exactes de facturation se vérifient auprès du fournisseur au moment de l'essai.
Hugging Face — Tokenization algorithms (nouvel onglet), pour la décomposition du texte en mots, sous-mots ou caractères selon le procédé.