En julio de 1840, la revuelta federalista de Valentín Gómez Farías y José Urrea ocasionó graves daños al palacio, entre ellos un cañonazo que derribó parte de la fachada en una las torres del inmueble.