字句
字句(じく)とは、プログラミング言語などにおいてソースコードに出現する文字列の中で意味を持つ最小単位であり、トークン(英: token)とも言う。
詳細は言語によって異なるが、一般的には、以下のようなトークンがある。
ifやintなどのキーワード(あるいは予約語)
main や argc などといった関数(サブルーチン)名や変数名などの識別子
{ } ( ) [ ] などの括弧類(の片方ずつ)
+ - * / = > < & | などの演算子
, . : ; などの区切り文字
3.14159や"hello" のようなリテラル
括弧類や区切り文字が出現位置によっては演算子となる言語もある。
多くの場合、プログラミング言語の構文規則はトークン列を定義しており、構文解析の前に、まずトークンを切り出し、必要であれば種類別に分類したりもする。この処理を字句解析と呼ぶ。この処理のため、プログラミング言語の言語仕様では、それぞれの種類のトークンはどのような文字から構成されるかが規定されている。
(例)識別子は、英字で始まり、その後に0個以上の英字、数字または下線 (_) が続く。