En la mayoría de los lenguajes el analizador léxico solo necesita generar un token a la vez.