A classic example is "New York-based", which a naive tokenizer may break at the space even though the better break is (arguably) at the hyphen.
به عنوان یک مثال کلاسیک "New York-based" را درنظربگیرید، که یک توکن ساز ساده، ممکن است حتی در یک space شکسته شود اگرچه یک شکست بهتر مسلما در خط پیوند نوشته شده(hyphen) است.