stanford-oval/wikipedia huggingface dataset:
رپید ولی، داکوتای جنوبی

CDP
| Rapid Valley, South Dakota | Rapid Valley, South Dakota |
| --- | --- |
CDP: CDP
Location in Pennington County and the state of داکوتای جنوبی: Location in Pennington County and the state of داکوتای جنوبی
مختصات: ۴۴°۳′۵۵″ شمالی ۱۰۳°۸′۵۱″ غربی﻿ / ﻿۴۴٫۰۶۵۲۸°شمالی ۱۰۳٫۱۴۷۵۰°غربی﻿ / 44.06528; -103.14750: مختصات: ۴۴°۳′۵۵″ شمالی ۱۰۳°۸′۵۱″ غربی﻿ / ﻿۴۴٫۰۶۵۲۸°شمالی ۱۰۳٫۱۴۷۵۰°غربی﻿ / 44.06528; -103.14750
State: داکوتای جنوبی
شهرستان: Pennington
مساحت: مساحت
 • کل: ۱۰٫۱ مایل مربع (۲۶٫۳ کیلومتر مربع)
 • خشکی: ۱۰٫۱ مایل مربع (۲۶٫۳ کیلومتر مربع)
 • آب: ۰ مایل مربع (۰ کیلومتر مربع)
ارتفاع: ۳۱۵۶ فوت (۹۶۲ متر)
جمعیت (2010): جمعیت (2010)
 • کل: ۸٬۲۶۰
 • تراکم: ۸۱۷٫۸/مایل مربع (۳۱۴٫۱/کیلومتر مربع)
منطقهٔ زمانی: یوتی‌سی -۷ (Mountain (MST))
 • تابستانی (DST): یوتی‌سی -۶ (MDT)
کد منطقه: 605
FIPS code: 46-53007
GNIS feature ID: 1259251
رپید ولی(به انگلیسی: Rapid Valley) شهری در ایالت داکوتای جنوبی کشور ایالات متحده آمریکا است که جمعیت آن در سرشماری سال ۲۰۱۰ میلادی، ۸٬۲۶۰ نفر بوده‌است.
سار، بحرین

مکان در 23x15px|border |alt=|link= بحرین
| سار بحرین | سار بحرین |
| --- | --- |
دیلمون era settlement, located on the outskirts of Saar.: دیلمون era settlement, located on the outskirts of Saar.
سار بحرینموقعیت در بحرین: سار بحرینموقعیت در بحرین
مختصات: ۲۶°۱۱′۴۸″ شمالی ۵۰°۲۹′۰۸″ شرقی﻿ / ﻿۲۶٫۱۹۶۶۷°شمالی ۵۰٫۴۸۵۵۶°شرقی﻿ / 26.19667; 50.48556: مختصات: ۲۶°۱۱′۴۸″ شمالی ۵۰°۲۹′۰۸″ شرقی﻿ / ﻿۲۶٫۱۹۶۶۷°شمالی ۵۰٫۴۸۵۵۶°شرقی﻿ / 26.19667; 50.48556
استان: شمالیه
منطقهٔ زمانی: یوتی‌سی ۳+ (AST)
سار بحرین (به عربی: سار) یک منطقهٔ مسکونی در بحرین است که در شمالیه (بحرین) واقع شده‌است.
تحلیل واژگانی

تحلیل‌گر واژگانی (لغوی)، یا اسکنر فاز اول کامپایل کردن یک برنامه است. گرامر مورد استفاده در این بخش گرامر منظم (Regular) است.
در این مرحله برنامهٔ ورودی کاراکتر به کاراکتر خوانده شده و توکن بندی می‌شود. این توکن‌ها (Token) در جدول نمادها (Symbol Table) به شکل خاصی ذخیره می‌شوند تا در مراحل بعدی مورد استفاده قرار گیرند.
این مرحله از کامپایل به نسبت تحلیل‌گر نحوی کندتر است، زیرا همواره با جریانی از کاراکترها سرورکار دارد.
در علم رایانه، تحلیل واژگانی پروسه‌ای است که مجموعه‌ای از کاراکترها را به مجموعه‌ای از tokenها تبدیل می‌کند. برنامه‌ای که تحلیل واژه‌ای را انجام می‌دهد lexical analyzer یا lexers (تحلیلگر واژه) خوانده می‌شود. تحلیل‌گر واژه شامل scanner و tokenizer است.
کاربردها

یک تحلیل‌گر لغوی اولین فاز از قسمت front end یک کامپایلر را در پردازش‌های مدرن تشکیل می‌دهد. آنالیزها معمولاً در یک مسیر به جلو می‌رود.
در سایر زبان‌ها مانند ALGOL، گام نخست، دوباره‌سازی خط (line reconstruction) است، که به صورت unstropping عمل می‌کرد و فضاهای خالی و کامنت‌ها را حذف می‌کرد. (پارسر آن اسکنر نداشت و یک Lexer مجزا نیز نداشت). این گام‌ها اکنون به‌عنوان بخشی از lexer می‌باشند.
lexerها و پارسرها غالباً برای کامپایلرها استفاده می‌شوند، ولی می‌توانند به عنوان ابزار برای سایر زبان‌های کامپیوتر مورد استفاده قرار گیرند، مانند prettyprinters و linters.
عمل تحلیل لغوی می‌تواند به دو مرحله تقسیم شود: اسکن، که رشتهٔ ورودی را به گروه‌هایی تقسیم‌بندی می‌کند و آن‌ها را به کلاس‌های توکن دسته‌بندی می‌کند؛ و ارزیابی، که کاراکترهای ورودی خام را به مقادیر پردازش شده تبدیل می‌کند.
واژه (lexeme)

کلمهٔ واژه در علوم کامپیوتر متفاوت از تعریف آن در زبان‌شناسی است. یک واژه در علوم کامپیوتر معمولاً مربوط است به چیزی که ممکن است در زبان‌شناسی یک کلمه نامیده شود. (معنای کلمهٔ word در علوم کامپیوتر از معنای آن در زبان‌شناسی متفاوت است)، و همچنین در برخی موارد ممکن است بسیار شبیه به تکواژ (کوچترین واحد معنادار لغوی) باشد.
واژه رشته‌ای از کاراکترهاست که یک واحد نحوی را شکل می‌دهد.
برخی از نویسندگان آن را توکن می‌نامند، از واژهٔ توکن استفاده می‌کنند تا
رشته‌ای که tokenize شده و ساختار دادهٔ توکنی که از قرار گرفتن آن رشته در فرایند توکن‌سازی حاصل شده را نمایش دهند.
توکن

یک توکن دسته‌ای از متن هستند که به اسم lexemes شناخته می‌شوند. تحلیلگر واژه‌ای lexemsها را پردازش می‌کند تا آن‌ها را با توجه به کاربردشان دسته‌بندی کنند و به آن‌ها معنا دهند. این انتساب معنا tokenization نامیده می‌شود.
به این خط دستور در زبان C توجه کنید: ;sum=۳+۲ که به این صورت توکن بندی شده‌است:
| 0 | 1 |
| --- | --- |
lexeme: token type
sum: IDENT
=: ASSIGN_OP
3: NUMBER
+: ADD_OP
2: NUMBER
;: SEMICOLON
توکن‌ها معمولاً توسط عبارات با قاعده تعریف می‌شوند، که توسط تحلیلگر واژه‌ای به lex شناخته می‌شوند. تحلیلگر واژه‌ای جریانی از lexemها را می‌خواند و آن‌ها را به توکنهایی دسته‌بندی می‌کند. این کار tokenization خوانده می‌شود.
در ادامه tokenizing، تجزیه قرار دارد. اطلاعات تفسیر شده ممکن است در ساختمان‌های داده به منظور استفاده کلی، تفسیر یا کامپایل، قرار بگیرند.
گرامر واژه‌ای

هر زبان برنامه‌نویسی شامل مجموعه‌ای از قوانین خواهد بود، گرامر نحوی (واژه‌ای) که syntax نحوی را تعیین کی کند. syntax نحوی معمولاً یک زبان منظم است، که به همراه قوانین گرامری شامل عبارات منظم مجموعه‌ای از sequenceهای کاراکترهای ممکن که استفاده می‌شوند تا واژه‌ها را شکل دهند را تعریف می‌کنند. یک تحلیل گر نحوی رشته‌ها را تشخیص می‌دهد و برای هر نوع رشته‌ای که برنامهٔ نحو پیدا کرده، کاری را انجام می‌دهد، ساده‌تر از همه یک توکن ایجاد می‌کند.
دو دسته از واژه‌های رایج و مهم فضای خالی (white space) و commentها هستند. آن‌ها هم در گرامر تعریف شده و تحلیل نحوی نیز روی آن‌ها نجام می‌شود، ولی ممکن است دورانداخته شوند (توکنی ایجاد نمی‌کنند) و از آن‌ها صرف نظر می‌شود، مانند؛
if x
که توکن‌های آن عبارت اند از: if و x
در این‌جا دو مورد استثنا ی مهم وجود دارد. مورد اول: در زبان‌های off-side rule که بلاک‌ها را با تورفتگی محدود می‌کنند، white spaceهای اولیه مهم اند، چرا که ساختار بلاک‌ها را تعیین می‌کنند و عموماً در سطح تحلیل گر لغوی کنترل می‌شوند.
مورد دوم: در برخی از کاربردهای تحلیل گر لغوی، commentها و فضاهای خالی باید حفظ شوند. به عنوان مثال، یک prettyprinter نیز نیاز دارد که به عنوان خروجی کامنت‌ها و برخی ابزار debugging را که ممکن است پیامی را برای برنامه‌نویس داشته باشد (با نمایش سورس کد اصلی) نمایش دهد.
در سال‌ها ی ۱۹۶۰ به ویژه برای زبان ALGOL، فضاهای خالی و commentها به عنوان بخشی از فاز نوسازی خط (فاز ابتدایی بخش frontend کامپایلر)، حذف می‌شدند، ولی این فاز جدا، حذف شد و اکنون توسط تحلیل گر لغوی (lexer) کنترل می‌شود.
توکن‌سازی (Tokenization) > اسکنر

در مرحله اول، اسکنر، معمولاً مبتنی بر یک ماشین حالت متناهی است که با استفاده از اطلاعات کاراکترهایی با توالی ممکن کدگذاری شده‌است که این کاراکترها می‌توانند هر یک از توکن‌ها مورد استفاده باشد. به عنوان مثال، یک توکن عدد صحیح می‌تواند دارای هر توالی از ارقام باشد. در بسیاری از نمونه‌ها اولین کاراکتری که فضای خالی نباشد، می‌تواند برای استنباط نوع توکن بعدی مورد استفاده قرار گیرد و زیردنبالهٔ کارکترهای ورودی بعد از آن در یک زمان پردازش می‌شوند تاوقتی که به کاراکتری برسد که که در مجموعهٔ کاراکترهای قابل قبول برای توکن‌ها نباشد (که اصطلاحاً این عمل، قانون حداکثر جویدن یا طولانی‌ترین تطبیق نامیده می‌شود). در بسیاری از زبان‌ها قانین تولید واژه بسیار پیچیده‌تر است و ممکن است درگیر عقب‌گرد بر روی کاراکترهای خوانده شدهٔ قبلی شود. به عنوان مثال در C تنها یک کاراکتر 'L' برای تمایز قائل شدن بین یک شناسه که با 'L' شروع می‌شود و یک کاراکتر از یک رشته کافی نیست.
توکن‌سازی (Tokenization) > ارزیابی‌کننده

یک واژه، اگرچه یک رشته‌ای از کاراکترهاست، باید به شکل خاصی (مثلاً رشته‌ای از لیترال‌ها، دنباله‌ای از حروف) باشند. به منظور ساختن یک توکن، تحلیل گر لغوی گام دومی هم نیاز دارد، ارزیابی‌کننده، که کارکترهای یک وازه را بررسی می‌کند تا یک مقداری را تولید کند. ترکیب نوع واژه با مقدارش چیزی است که یک توکن را می‌سازد، که می‌توان آن را به پارسر (تجزیه‌کننده) داد. برخی از توکن‌ها مانند پرانتزها درحقیقت مقداری ندارند، بنابراین تابع ارزیابی‌کننده برای آن می‌تواند چیزی برنگرداند: فقط نوع آن لازم است. به‌طور مشابه، گاهی اوقات ارزیابی‌کننده کل یک واژه را نادیده می‌گیرد، آن را از پارسر حذف می‌کند، که برای فضاهای خالی و commentها مفید است. ارزیابی‌کننده برای شناسه‌ها عموماً ساده‌اند (عینا خود شناسه را نمایش می‌دهند). ارزیابی‌کننده‌های لیترال‌های اعداد صحیح ممکن است رشته را عبور دهند (ارزیابی را برای فاز تحلیل معنایی به تعویق می‌اندازد)، یا ممکن است ارزیابی آن‌ها را انجام دهندف که می‌توانند درگیر مبناهای مختلف یا اعداد اعشاری شوند. برای لیترال‌های رشتهٔ نقل قول شدهٔ ساده، لازم است که ارزیابی‌کننده فقط نقل قول‌ها را حذف کند.
به عنوان مثال ف در این کد منبع یک برنامهٔ کامپیوتری، رشتهٔ
;(net_worth_future= (assets - liabilities
ممکن است به جریان توکن‌های lexical زیر تبدیل شود؛ فضاهای خالی نادیده گرفته شده‌اند و کاراکترهای خاص مقداری ندارند:
NAME net_worth_future
EQUALS
OPEN_PARENTHESIS
NAME assets
MINUS
NAME liabilities
CLOSE_PARENTHESIS
SEMICOLON
هر چند ممکن و گاهی اوقات لازم است که، به دلیل محدودیت‌های صدور مجوز پارسرهای موجود یا اگر لیست توکن‌های کوچک باشد، تحلیل گر لغوی به صورت دستی نوشته شود، تحلیل گران لغوی غالباً به صورت ابزار خودکار تولید می‌شوند. این ابزار به‌طور کلی عبارات منظم را که نشانه‌های مجاز در جریان ورودی را توصیف می‌کنند، دریافت می‌کند. هر عبارت منظم با یک قانون تولید در گرامر تحلیل گر لغوی آن زبان برنامه‌نویسی همراه می‌شود، که واژه‌هایی را تولید می‌کند که با آن عبارت منظم تطبیق داده شوند. این ابزار ممکن است کدهای منبعی تولید کنند که کامپایل و اجرا شوند یا یک جدول انتقال حالت برای یک ماشین حالت متناهی ایجاد کنند (که برای تدوین و اجرا به کد الگو متصل می‌شود).
عبارات منظم الگوهایی را که ممکن است کاراکترها در واژه‌ها دنبال کنند به صورت فشرده نمایش می‌دهند. به عنوان مثال، برای یک زبان مبتنی بر زبان انگلیسی، یک توکن NAME ممکن است هر یک از کاراکترهای الفبای انگلیسی باشد یا یک underscore (_) و به دنبال آن هر تعدادی از نمونه‌های کدهای alphanumeric اسکی و underscoreهای دیگر باشد. می‌توان به صورت مختصر این گونه نمایش داد؛ *[a-zA-Z_][a-zA-Z_0-9]  . به این معنی است که "هر تعداد از کاراکترهای a-z ،A-Z یا _، و به دنبال آن صفر یا تعداد بیشتری از a-z, A-Z, _ یا ۰–۹.
عبارات منظم و ماشین‌های حالت متناهی ای که آن‌ها تولید می‌کنند به اندازه کافی برای کنترل الگوهای بازگشتی، مانند "nتا پرانتز باز، به دنبال آن یک سری عبارت و پس از آن nتا پرانتز بسته "، قوی نیستند. آن‌ها نمی‌توانند تعداد را ذخیره کنند، و بررسی کنند که n در دوطرف یکسان است، مگر این که یک مجموعهٔ متناهی از مقادیر مجاز برای n موجود باشد. طول می‌کشد تا یک تجزیه‌کنندهٔ کامل چنین الگوهایی را در کلیت کامل خود تشخیص دهد. یک پارسر می‌تواند پرانتزها را به داخل پشته push کند و سپس سعی کند که آن‌ها را pop کند تا ببیند که آیا در آخر پشته خالی می‌شود یا خیر.
توکن‌سازی (Tokenization) > موانع

معمولاً توکن‌سازی در سطح کلمه (word) انجام می‌گیرد. اگرچه، گاهی اوقات
تعیین معنای آن با یک کلمه دشوار است. اغلب توکن ساز بر اساس تخمین‌های ساده‌ای عمل می‌کند، به عنوان مثال:
نشانه‌گذاری و فضای خالی ممکن است در لیست توکن‌های حاصل به حساب آیند یا خیر.
تمام رشته‌های به هم پیوسته کاراکترهای الفبا، بخشی از توکن هستند؛ به همین ترتیب اعداد.
توکن‌ها با کاراکترهای فضای خالی جدا می‌شوند، مانند space یا line break، یا کاراکترهای نشانه گذاری.
در زبان‌هایی که از spaceهای بین کلمه‌ای استفاده می‌کنند (مانند بسیاری از زبان‌ها که از الفبای لاتین استفاده می‌کنند و بیشتر زبان‌های برنلمه نویسی)، این روند به صورت منصفانه‌ای سر راست است. اگرچه، حتی در اینجا نمونه‌های حاشیه‌ای مانند انقباضات، کلمات hyphenated(با خط پیوند نوشته شده)، شکلک‌ها، و سازه‌های بزرگتری مانند URLها (که برای بعضی اهداف ممکن است به عنوان تک توکن شمرده شوند). به عنوان یک مثال کلاسیک "New York-based" را درنظربگیرید، که یک توکن ساز ساده، ممکن است حتی در یک space شکسته شود اگرچه یک شکست بهتر مسلماً در خط پیوند نوشته شده(hyphen) است.
توکن‌سازی خصوصاً برای زبان‌های نوشته شده در scriptio continua دشوار است، که محدودیت‌های کلمه را نمایش نمی‌دهند، مانند یونانی باستان، چینی، یا تایلندی. زبان‌های ترکیبی مانند کره‌ای نیز توکن‌سازی را دشوار می‌کنند.
برخی از راه‌ها برای آدرس دهی به مسائل دشوارتر شامل توسعهٔ تخمین‌های پیچیدهٔ بیشتر، پرس جوی یک جدول از موارد خاص متداول، یا مناسب کردن توکن‌ها برای یک مدل زبان که ترتیب را در گام‌های پردازش بعدی تشخیص می‌دهد.
توکن‌سازی (Tokenization) > نرم‌افزار

Apache OpenNLP شامل قوانین پایه و آماری توکن‌سازی است که زبان‌های زیادی را پشتیبانی می‌کند.
U-Tokenizer یک API روی HTTP است که می‌تواند جملات ژاپنی و ماندرین را در محدودهٔ کلمه قطع کند.
HPE Haven OnDemand Text Tokenization API (یک محصول تبلیغاتی با دسترسی رایگان) از مدل‌سازی مفهوم احتمالات پیشرفته استفاده می‌کند تا وزنی که جمله در شاخص متن مشخص شده، دارد را تعیین کند.
ابزار Lex و کامپایلر آن طراحی شده‌اند تا کد را برای تحلیل لغوی سریعتر بر مبنای یک توصیف رسمی از نحو لغوی تولید کنند؛ که این عموماً برای برنامه‌هایی که مجموعه‌ای پیچیده از قوانین نحوی و نیازمندی‌های عملکردی شدید دارند، ناکافی در نظر گرفته می‌شود. به عنوان مثال، (GNU Compiler Collection (GCC از تحلیل گران لغوی دست نوشته استفاده می‌کند.
مولد تحلیل گر لغوی (Lexer Generator)

تحلیل گرهای لغوی اغلب توسط مولد تحلیل گر لغوی تولید می‌شوند، مشابه مولد تجزیه‌کننده (parser)، و چنین ابزارهایی اغلب گرد هم می‌آیند. پابرجاترین آن‌ها Lex می‌باشد، به همراه مولد پارسر Yacc و ابزار معادل رایگان آن Flex.
این مولد شکلی از دامنهٔ خاص زبان است، مشخصات واژگانی رامی گیرد-به‌طور کلی عبارت منظم با نشانه گذاری- و lexer را به عنوان خروجی تولید می‌کند.
ابزار عملکرد توسعهٔ سریع، که در توسعهٔ اولیه بسیار مهم اند، هر دو lexer می‌گیرند زیرا خصوصیات زبان اغلب ممکن است تغییر کند. در ادامه، آن‌ها اغلب ویژگی‌های پیشرفته‌ای را فراهم می‌کنند، از جمله شرایط قبل و بعد که برنامه‌نویسی دستی آن‌ها سخت می‌باشد. با این حال مولد lexer اتوماتیک ممکن است عدم انعطاف‌پذیری داشته باشد، در نتیجه نیاز به تغییر کاربر، یا یک lexer که کاملاً دستی نوشته شده باشد دارد.
عملکرد lexer دارای اهمیت است و بهینه‌سازی آن ارزشمند و نیازمند صرف وقت می‌باشد، به ویژه در زبان‌های پایدار که lexer در آن‌ها غالباً اجرا می‌شود (مانند C و Lexer.(HTMLهای تولید شده با lex/flex، منطقا سریع هستند، اما بیشتر از دو تا سه بار، بهبود آن، امکان‌پذیر است. گاهی lexerهای دست‌نویس استفاده می‌شدند، اما مولد lexer مدرن اغلب lexerهایی تولید می‌کنند که سریع تر از lexerهای با دست کدگذاری شده هستند. خانوادهٔ lex/flex جدول محورند که کارایی کمتری نسب به مولدهای مستقیماً کدگذاری شده دارند. با روش دوم مولد با دستور goto مستقیماً به جلو می‌رود. ابزاری مانندre2c موتورهایی که دو تا سه برابر سریع تر از موتورهای flex می‌باشد تولید می‌کند. به‌طور کلی تجزیه و تحلیل دست‌نویس دشوار است که روش دوم برای تولید موتورها بهتر است.
مولد تحلیل گر لغوی (Lexer Generator) > لیستی از مولدهای lexer

ANTLR: می‌تواند تحلیل گر لغوی و تجزیه‌کننده تولید کند.
DFASTAR: تحلیل گر لغوی مبتنی بر جدول ماتریس DFA، در ++C تولید می‌کند.
Flex: نوعی دیگر از lex کلاسیک برای C و++C
Ragel: مولد ماشین حالت و lexer با خروجی در C و C++ ,C# ،Objective-C، D, Java , Go و Ruby
Re2c: مولد تحلیلگر لغوی در C و++C
تحلیلگران لغوی ذیل، می‌توانند با Unicode هم کار کنند:
JavaCC: تولید تحلیل گرهای لغوی نوشته شده در جاوا
JFLex: مولد تحلیل گر لغوی برای جاوا
RE/flex: نوعی سریع از lex/flex برای ++C که اسکنرها را با جداول یا کدزنی مستقیم تواید می‌کند.
Quex: مولد تحلیل گر لغوی سریع جهانی برای C و ++C
FsLex: مولد تحلیل گر لغوی برای ورودی بایت و کاراکتر یونیکد در#F
ساختار عبارت

تحلیل لغوی جریان ورودی از کاراکترها را به توکن تبدیل می‌کند، به سادگی کاراکترها را به بخش‌هایی گروه‌بندی می‌کند و آن‌ها را طبقه‌بندی می‌کند. با این حال ممکن است که توکن‌ها حذف می‌کنند یا اضافه می‌کنند. در حذف توکن‌ها، از جمله فضای خالی وCommentها زمانی که کامپایلر هیچ احتیاجی به آن‌ها ندارد، بسیار رایج هستند. معمولاً کمتر، توکن‌های اضافه شده ممکن است قرار گرفته شوند. این کار انجام می‌شود تا توکن‌ها را به عبارات، یا عبارات را به بلاک‌ها گروه‌بندی کنند، تا عمل تجزیه را ساده‌تر کند.
ساختار عبارت > ادامهٔ خط (Line continuation)

ادامهٔ خط یکی از ویژگی‌های برخی زبان هاست که خط جدید معمولاً بعد از پایان جمله است. گاهی اوقات پایان خط با backslash (فورا به خط جدید می‌رود) نشان داده می‌شود که خط قبلی را به این خط متصل می‌کند. در تحلیل لغوی این کار انجام می‌شود: backslash و خط جدید دور انداخته می‌شوند، نسبت به خط جدید که توکن‌سازی می‌شود.
ساختار عبارت > درج نقطه ویرگول (Semicolon insertion)

بسیاری از زبان‌ها از نقطه ویرگول برای پایان جمله استفاده می‌کنند؛ که اغلب اجباری است، اما در بعضی زبان‌ها استفاده از نقطه ویرگول در متن اختیاری است. این کار در مرحله lexerصورت می‌گیرد. جایی که lexer یک نقطه ویرگول را به جریانی از توکن‌ها تبدیل می‌کند، با این وجود در جریان ورودی کاراکترها آماده نیست ف که درج نقطه ویرگول یا درج خودکار نقطه ویرگول نامیده می‌شود. در این مورد، نقطه ویرگول یک عبارت نرمال گرامی از زبان هست، اما ممکن است که به عنوان ورودی نباشد که تحلیل گر لغوی آن را اضافه می‌کند. نقطه ویرگول اختیاری است یا پایان دهنده یا این که بعضی اوقات به عنوان جداکننده از مرحلهٔ تجزیه به کار می‌رود، به ویژه در مورد کامای انتهایی(trailing commas) یا نقطه ویرگول.
درج نقطه ویرگول یکی از خصوصیات BCPL و یکی از نسل‌های دور در Go می‌باشد. هر چند در B یا C وجود ندارد. درج نقطه ویرگول در JavaScript وجود دارد، اگر قوانین پیچیده و مورد انتقاد قرار بگیرند، برای جلوگیری از مشکلات، استفاده از نقطه ویرگول توصیه می‌شود، در حالی که دیگران نقطه ویرگول اولیه، نقطه ویرگول دفاعی، را عمدتاً در عبارات مبهم به کار می‌برند.
درج نقطه ویرگول (در زبان‌هایی که نقطه ویرگول به معنای پایان عبارت است) و ادامهٔ خط (در زبان‌هایی که خط جدید به معنای پایان عبارت است) مکمل یکدیگرند. درج نقطه ویرگول به عنوان یک توکن اضافه می‌شود، اگرچه خط جدید به‌طور کلی توکن ایجاد نکند، یا ادامهٔ خط مانع از ایجاد توکن شود و حتی اگر خط جدید به‌طور کلی توکن ایجاد کند.
ساختار عبارت > قوانین off-side

قوانین off-side (بلوک‌های تعیین شده توسط تورفتگی) را در lexer می‌توان پیاده‌سازی کرد، مانند پایتون، که افزایش فرورفتگی‌ها نتیجهٔ بیرون ریختن INDENT توکن‌ها در lexer است، و کاهش فرورفتگی‌ها نتیجهٔ بیرون ریختن DEDENT توکن‌ها در lexer می‌باشد. این توکن‌ها مربوط به باز کردن آکولاد { و بستن آکولاد  } در زبان‌هایی است که از آکولاد برای بلاک‌ها استفاده می‌کنند. این بدان معناست که عبارت دستور زبان به این که آکولاد یا فرورفتگی استفاده می‌شود بستگی ندارد. مستلزم آن است که حالت lexer را نگه دارد، یعنی سطح تورفتگی فعلی، در نتیجه می‌تواند زمانی که تغییرات فرورفتگی شناسایی شود تغییر دهد، در نتیجه دستورزبان واژگانی مستقل از متن نیست :INDENT-DEDENT، به اطلاعات متن که از فررفتگی قبلی می‌گیرد بستگی دارد.
تحلیل لغوی حساس به متن

به‌طورکلی گرامرهای لغوی، مستقل از متن هستند، یا تقریباً مستقل از متن هستند، که نیازی به نگاه به عقب یا جلو، یا برگشت به عقب (backtracking) هستند، که پیاده‌سازی ساده، تمیز و کارآمد را امکان‌پذیر می‌کند. هم چنین یک ارتباط یک طرفه از تحلیل گر لغوی به تجزیه‌کننده، بدون نیاز به برگشت اطلاعات را ممکن می‌سازد.
با این حال استثناهایی وجود دارد. مثال‌هایی ساده شامل: درج نقطه ویرگول در Go، که به نگاه کردن به توکن قبلی نیاز دارد، الحاق رشتهٔ متوالی در پایتون که نیازدارد قبل از خروج یک توکن محتوای آن در بافر نگه داری شود (برای اینکه ببیند آیا توکن بعدی یک literal است یا نه)؛ و نقش off-side در پایتون، که به نگهداری تعدادی از سطوح فرورفتگی نیاز دارد (در واقع پشته‌ای از هر سطوح فرورفتگی)، این نمونه‌ها فقط نیاز به زمینهٔ لغوی دارند، و در حالی که تحلیل گر لغوی تا حدی آن‌ها را پیچیده می‌کند، برای تجزیه‌کننده و مراحل بعد قابل دیدن نیستند.
یک مثال پیچیده‌تر هک تحلیل گر لغوی در C است، که کلاس توکن دنباله‌ای از کاراکترها تا فاز تحلیل گر معنایی، نمی‌تواند تعیین شود. اگرچه نام‌های نوع متغیر از لحاظ لغوی یکسان اند اما کلاس‌های توکن مختلفی را تشکیل می‌دهد؛ بنابراین در این هک، تحلیل گر لغوی تجزیه و تحلیل معنایی را صدا می‌زند (جدول نمادها) و بررسی می‌کند که آیا دنباله به یک نام نوع متغیر نیاز دارد یا خیر. در این مورد نباید اطلاعات فقط از تجزیه‌کننده بازگردد بلکه باید از تحلیلگر معنایی به تحلیل گر لغوی برگردد، که طراحی را پیچیده می‌کند.
لینک های خارجی

Yang, W.; Tsay, Chey-Woei; Chan, Jien-Tsai (2002). "On the applicability of the longest-match rule in lexical analysis". Computer Languages, Systems and Structures. Elsevier Science. 28 (3): 273–288. doi:10.1016/S0096-0551(02)00014-0. NSC 86-2213-E-009-021 and NSC 86-2213-E-009-079.
Trim, Craig (Jan 23, 2013). "The Art of Tokenization". Developer Works. IBM.
Word Mention Segmentation Task, an analysis
البینو لندینگ، میشیگان

Unincorporated community
| Albion Landing, Michigan | Albion Landing, Michigan |
| --- | --- |
Unincorporated community: Unincorporated community
Albion Landing, MichiganLocation within the state of Michigan: Albion Landing, MichiganLocation within the state of Michigan
مختصات: ۴۲°۲۲′۵۵″ شمالی ۸۴°۴۷′۳″ غربی﻿ / ﻿۴۲٫۳۸۱۹۴°شمالی ۸۴٫۷۸۴۱۷°غربی﻿ / 42.38194; -84.78417: مختصات: ۴۲°۲۲′۵۵″ شمالی ۸۴°۴۷′۳″ غربی﻿ / ﻿۴۲٫۳۸۱۹۴°شمالی ۸۴٫۷۸۴۱۷°غربی﻿ / 42.38194; -84.78417
State: میشیگان
County: Calhoun
Township: Clarence
ارتفاع: ۹۲۸ فوت (۲۸۳ متر)
منطقهٔ زمانی: یوتی‌سی -۵ (Eastern (EST))
 • تابستانی (DST): یوتی‌سی -۴ (EDT)
GNIS feature ID: 1617408
البینو لندینگ، میشیگان (به انگلیسی: Albion Landing, Michigan) یک منطقهٔ مسکونی در ایالات متحده آمریکا است که در میشیگان واقع شده‌است.
خصوصیات

البینو لندینگ ۲۸۳ متر بالاتر از سطح دریا واقع شده‌است.
تحفه فاضلوا

| تحفه فاضلوا | تحفه فاضلوا |
| --- | --- |
نام هنگام تولد: Tuhfa Fazilovna Fozilova
زادهٔ: ۱۹۱۷ کان بادام
درگذشت: ۳ فوریه ۱۹۸۴ دوشنبه
ملیت: اتحاد جماهیر شوروی سوسیالیستی
پیشه‌ها:  بازیگر  خواننده 
تحفه فاضلوا (انگلیسی: Tuhfa Fozilova؛ ۱۹۱۷ – ۳ فوریه ۱۹۸۴) خواننده اپرا و هنرپیشه اهل اتحاد جماهیر شوروی سوسیالیستی بود. وی مادر مراد عارفف بازیگر سرشناس سینمای شوروی و تاجیکستان بود.
جوایز

وی برندهٔ جوایزی همچون نشان انقلاب اکتبر، جایزه هنرمند مردمی اتحاد جماهیر شوروی و نشان لنین شده بود.
سلم بن زیاد

| سلم بن زیاد بن ابیه | سلم بن زیاد بن ابیه |
| --- | --- |
درهم نقره‌ای سلم بن زیاد به سبک ساسانی که در مرو خراسان در سال ۶۸۲م-۸۳ه ضرب شده است.: درهم نقره‌ای سلم بن زیاد به سبک ساسانی که در مرو خراسان در سال ۶۸۲م-۸۳ه ضرب شده است.
والی اموی خراسان و سیستان: والی اموی خراسان و سیستان
دوره مسئولیت ۶۸۱–۶۸۴: دوره مسئولیت ۶۸۱–۶۸۴
پادشاه: یزید بن معاویه
پس از: عبدالرحمن بن زیاد (خراسان) عباد بن زیاد (سیستان)
پیش از: عبدالله بن خاظم السلمی
 :  
اطلاعات شخصی: اطلاعات شخصی
درگذشته: اواخر ۶۹۲ م بصره
همسر(ان): ام محمد بنت عبدالله بن عثمان بن ابیالعاص ثقفی
فرزندان: سغدی محارب
والدین: زیاد بن ابیه
ابوحرب سلم بن زیاد بن ابیه (عربی: سالم بن زیاد  
) (متوفی اواخر سال ۶۹۲میلادی) یک ژنرال و دولتمرد خلافت اموی بود که بعدها در جریان جنگ داخلی مسلمانان دوم پیش از بازگشت به صفوف بنی‌امیه به خلافت عبدالله بن الزبیر رفت. سلم در سال ۶۸۱م. توسط خلیفه یزید اول (حک ۶۸۰–۶۸۳) به عنوان والی خراسان و سیستان منصوب شد.
او در دوران فرمانداری خود چندین حمله لشکرکشی به مناطق آسیای مرکزی، ماوراءالنهر از جمله سمرقند و خوارزم انجام داد. موفقیت‌های او و توزیع سخاوتمندانه غنائم جنگی او در میان سپاهیان عرب خراسانی‌اش، محبوبیت زیادی برای او به همراه داشت، اما پس از مرگ یزید، سلم نتوانست برای مدت طولانی وفاداری آنها را به بنی‌امیه حفظ کند. سلم پس از آنکه لشکریان و جانشین منتخب او، عبدالله بن خاظم السلمی، با خلافت رقیب عبدالله بن زبیر بیعت کردند، به بصره رفت. در آنجا سرانجام به اردوگاه ابن الزبیر پیوست، اما در مکه توسط ابن الزبیر زندانی شد. وی پس از پرداخت رشوه‌ای هنگفت آزاد شد و به دنبال مرگ ابن الزبیر به دست بنی امیه در اواخر سال ۶۹۲میلادی، مجدداً به استانداری خراسان منصوب شد. با این حال، او قبل از اینکه بتواند وظایف خود را از سر بگیرد، درگذشت.
اناند لاک، جایپور

New Colony در 23x15px|border |alt=|link= هند
| Anand Lok | Anand Lok |
| --- | --- |
New Colony: New Colony
ایالت: جایپور
مساحت: مساحت
 • کل: ۳ کیلومتر مربع (۱ مایل مربع)
جمعیت: جمعیت
 • کل: ۱۰۰
 • تراکم: ۳۳/کیلومتر مربع (۸۶/مایل مربع)
زبان‌ها: زبان‌ها
منطقهٔ زمانی: یوتی‌سی +۵:۳۰ (IST)
نزدیک‌ترین شهر: Sushant City, Jaipur
اناند لاک، جایپور (به انگلیسی: Anand Lok, Jaipur) یک منطقهٔ مسکونی در هند است که در جایپور واقع شده‌است.
خصوصیات

اناند لاک ۳ کیلومترمربع مساحت و ۱۰۰ نفر جمعیت دارد.
فهرست افتخارات باشگاه فوتبال پرسپولیس
کشوری (۲۸)

لیگ برتر ایران:
** قهرمانی (۱۶) (رکورد): ۱۳۵۰، ۱۳۵۲، ۱۳۵۴، ۱۳۷۴، ۷۶–۱۳۷۵، ۷۸–۱۳۷۷، ۷۹–۱۳۷۸، ۸۱–۱۳۸۰، ۸۷–۱۳۸۶، ۹۶–۱۳۹۵، ۹۷–۱۳۹۶، ۹۸–۱۳۹۷، ۹۹–۱۳۹۸، ۱۴۰۰–۱۳۹۹، ۰۲–۱۴۰۱، ۰۳–۱۴۰۲
نایب قهرمانی (۱۰): ۱۳۵۳، ۱۳۵۵، ۱۳۵۶، ۶۹–۱۳۶۸، ۱۳۷۱، ۱۳۷۲، ۸۰–۱۳۷۹، ۹۳–۱۳۹۲، ۹۵–۱۳۹۴، ۰۱–۱۴۰۰
جام حذفی ایران
* قهرمانی (۷) (رکورد مشترک): ۱۳۶۶، ۷۱−۱۳۷۰، ۷۸−۱۳۷۷، ۸۹−۱۳۸۸، ۹۰−۱۳۸۹، ۹۸−۱۳۹۷، ۰۲−۱۴۰۱
نایب قهرمانی (۲): ۸۵−۱۳۸۴، ۹۲−۱۳۹۱
سوپر جام ایران
** قهرمانی (۵) (رکورد): ۱۳۹۶، ۱۳۹۷، ۱۳۹۸، ۱۳۹۹، ۱۴۰۲
نایب قهرمانی (۲) (رکورد): ۱۴۰۰، ۱۴۰۳
استانی (۱۰)

جام باشگاه‌های تهران
قهرمانی(۶):۱۳۶۱، ۱۳۶۵، ۱۳۶۶، ۱۳۶۷، ۱۳۶۸، ۱۳۶۹
نایب قهرمانی(۴): ۱۳۴۹، ۱۳۶۰، ۱۳۶۲، ۱۳۷۰
جام حذفی تهران
قهرمانی(۲): ۱۳۶۱، ۱۳۶۶
نایب قهرمانی(۲): ۱۳۴۷، ۱۳۶۰
جام شهید اسپندی
قهرمانی(۱) (رکورد): ۱۳۵۸
مسابقات انتخابی باشگاهی قهرمانی آسیا
قهرمانی (۱): ۱۳۴۷ (رکورد)
در سال ۱۳۴۷ برای انتخاب نماینده ایران به جام باشگاه‌های آسیا تورنومنت دوره‌ای با حضور ۵ تیم برتر تهران برگزار شد که پرسپولیس قهرمان شد و به‌عنوان اولین نماینده ایران به جام باشگاه‌های آسیا فرستاده شد.
قاره‌ای (۱)

جام باشگاه‌های آسیا/لیگ قهرمانان آسیا
نایب‌قهرمانی (۲): ۲۰۱۸، ۲۰۲۰ (رکورد مشترک)
سومی (۳): ۹۷–۱۹۹۶، ۲۰۰۰–۱۹۹۹، ۰۱–۲۰۰۰ (رکورد مشترک)
▪چهارمی (۱): ۹۸–۱۹۹۷
▪حضور در نیمه نهایی (در لیگ قهرمانان آسیا دیدار رده‌بندی برگزار نمی‌شود) (۱): ۲۰۱۷
جام برندگان جام آسیا (رکورد ایران)
قهرمانی (۱): ۹۱–۱۹۹۰ (رکورد ایران)
نایب‌قهرمانی (۱): ۹۳–۱۹۹۲ (رکورد ایران)