字句解析
計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、ある言語で書かれた文について、その文字の並びを解析し、言語的に意味のある最小の単位(トークン)に分解する処理のこと。
字句解析は、コンピュータを用いた自然言語処理でも、プログラミング言語のコンパイルでも行われる。
自然言語の文であれ、プログラムのソースコードであれ、文というのは結局、文字や記号や約物類が多数並んだもの(文字列)であるが、字句解析はそれを、言語的に意味のある最小単位トークン(英: token(s))に分解する処理である。
文を解析してトークンに分解する作業を自動的に行うプログラムを字句解析器(英: lexical analyser)という。