se agregaron nuevos autómatas y se escribió la función que obtiene los tokens y sus lexemas