எழுத்து பாகுபடுத்தி

எழுத்து பாகுபடுத்தி (Scanner) - வருடி என்றும் அழைக்கப்படும்.  இது நிரல்மொழிமாற்றியின் முதல் அங்கம்.  மூல மொழியில் உள்ள நீண்ட வரிசையிலான எழுத்துக்களை பாகுபடுத்தி துண்டங்களாக ஒழுங்குபடுத்தும்.  இச்செயல்பாட்டை எழுத்து பகுப்பாய்வு எனலாம்.page 111, "Compilers Principles, Techniques, & Tools, 2nd Ed." (WorldCat) by Aho, Lam, Sethi and Ullman, as quoted in https://stackoverflow.com/questions/14954721/what-is-the-difference-between-token-and-lexeme

துண்டங்கள் இயற்கை மொழியில் சொற்களுக்கு இணையானது.  இத்துண்டங்களை பின்வருமாறு வகைப்படுத்தலாம்:
 சிறப்பு சொற்கள்
 சிறப்பு குறிகள்
 இனங்காட்டிகள்

எழுத்து பாகுபடுத்தியின் தொழிற்பாடு அடுத்தடுத்தாக வரும் எழுத்துக்களை எப்படி அடையாளப்படுத்துவது என்பதுவே.  அடிப்படையில் எழுத்து பாகுபாடுத்தி ஒரு நிலை பொறியாகும்.  

 நுட்பியல் சொற்கள் 
 துண்டம் - Token
 நிரல் - Program
 சிறப்பு சொற்கள் - Keywords
 சிறப்பு குறிகள் - Special Symbols
 இனங்காட்டிகள் - Identifiers
 நிலைப் பொறி - State Machine

 துணை நூல்கள் 
 Kenneth C. Louden. (1997).  Compiler Construction: Principles and Practice. Toronto: PWS Publishing Company.

மேற்கோள்கள்

பகுப்பு:கருத்தியல் கணிமை
பகுப்பு:நிரல்மொழிமாற்றி