a leitura e reconhecimento de tokens funciona, porém não reconhece o fim de arquivo.