También se instaló sobre principios del siglo XIX el último Virrey de México, Felix Maria Calleja, Conde de Calderón y Capitán General de Valencia, en el palacete Torre de Baba, situado a unos kilómetros del centro urbano y pasó a llamarse a partir de ese momento Torre del Virrey, donde residió hasta su muerte en 1828.