Unité de base que les modèles d’IA utilisent pour découper et comprendre le texte (un mot, une partie de mot ou un signe de ponctuation).
Exemple : La phrase « Bonjour, comment ça va ? » peut représenter une dizaine de tokens selon le modèle.
« Retour au lexique