Par souci de cohérence, il est important que les virgules, points, parenthèses et autres signes de ponctuation ne soient pas marqués lors de la lecture de mots isolés dans un texte. Il faut toujours marquer uniquement le contenu réel que l'on souhaite lire. Les signes de ponctuation proviennent généralement du contexte de la construction de la phrase, mais sont plutôt arbitraires sur la base des données d'entraînement et ne sont donc pas appropriés pour être analysés à des fins de prédiction. Sinon, l'IA cherchera à l'avenir, par exemple, une virgule à la fin du mot à lire, même si elle n'a rien à voir avec l'information recherchée.