法分析器还会对标记进行分类。词法分析器通常不会关心标记之间的关系（属于语法分析的范畴），举例来说：词法分析器能够将括号识别为标记，但并不保证括号是否匹配。针对如下C语言表达式：sum=3+2;将其标记化后可以得到下表内容：标记经常使用正则表达式进行定义，像lex一类的词法分析器生成器就支持使用正则表达式。语法分析器读取输入字符流、从中识别出语素、最后生成不同类型的标记。其间一旦发现无效标记，便会报错。
扫描器.词法分析的第一阶段即扫描器，通常基于有限状态自动机。扫描