Tokenization is particularly difficult for languages written in scriptio continua which exhibit no word boundaries such as Ancient Greek, Chinese, or Thai.
توکن‌سازی خصوصاً برای زبان‌های نوشته شده در  scriptio continua دشوار است ، که محدودیت‌های کلمه را نمایش نمی‌دهند، مانند یونانی باستان، چینی، یا تایلندی.