スキャナはある種の有限状態機械にモデル化できる。その有限状態機械は、それが処理する任意のトークンに含まれる文字の考えられる並びに関するルールを元に生成される。ここでいうルールとは例えば、「整数」トークンは任意個の数字の並びである、といったようなものである。プログラミング言語では、一般に、空白でない先頭の文字の種類によって、そこから始まるトークンの種類が類推できるよう設計され、その後の文字の並びはそのトークンとして受理できない文字が出てくるまでひとまとめとして処理される（最長一致の規則）。言語によっては、規則がもっと複雑で、複数個の文字について戻るようなバックトラッキングが必要になることもある。
トークン化は、スキャナによって得られた部分文字列に、トークンの種別の情報を付け（この部分の仕事は、実際のところスキャナによって適合するルールが選ばれた時点でほとんど済んでいる）、その種類によっては、たとえば整数ならその整数値といったような意味値（）を与える処理である。部分文字列の列からトークンを構築するには、字句解析器には第二段階の評価器が必要であり、評価器は文字列に対して「値」を付与する。文字列と型を結びつけたものが適切にトークンを表し、構文解析器に入力できるものとなる。括弧などの一部のトークンは「値」を持たないので、評価器（関数）はそれらについては何も返さない。整数、識別子、文字列などを扱う評価器は非常に複雑になる。空白やコメントなどはそのまま捨ててしまうこともある。最終的に、#トークンの節に挙げた表のような形の情報を持った、トークン列が得られる。
字句解析器生成器.
字句解析器を自動的に作成するソフトウェアを字句解析器生成器（）という。
字句解析器
加茂周
来歴.
人物.
少年時代.
中学時代までは運動部に所属するなど特定のスポーツに打ち込むことはなく、「運動会では活躍するほうだったが、といって競争で一番になったこともない」少年だったという。
選手時代.
兵庫県立芦屋高等学校入学後、上級生から薦められるままにサッカー部に入部する。兄の豊はすでに日本代表にも選ばれる有名な学生サッカー選手だったが、周はまだサッカー経験はなかった。芦屋高校ではサッカーに明るい指導者がおらず、生徒たちが自分たちで練習メニューや戦術を考え、遠征の手配を行うような環境だった。
指導者時代.