Tokens are often categorized by character content or by context within the data stream.
غالباً ما يتم تصنيف الرموز حسب محتوى الحرف أو حسب السياق ضمن تدفق البيانات.