낱말 분석

낱말 분석()은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer), 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이다.

종합 문자열 분석기 
종합 문자열 분석기(Universal String Analyzer)는 종합적인 리터럴 자동 추출과 관련된 특허 기술이 적용된 구성 요소이다. 주로 소스 파일 내 동적 문자열 혹은 동적 SQL 등의 자동 분석을 위해 활용된다.

토큰 
토큰은 파싱 목적을 위해 분류화를 명시적으로 지시하는 어휘소를 표현하는 구조의 하나이다.

다음의 표로 토큰화되어 표현된다:

각주

참고 문헌 
 

프로그래밍 언어 구현
컴파일러 구성
구문 분석