Al morir el marqués y su madre el palacio quedó en un estado de abandono hasta que en 1983 se llevó a cabo una gran restauración en la que se derribaron las dos torres que se encontraban en la parte trasera por no estar dentro de la estética del palacio y una vez restaurado se convirtió en sede del Ayuntamiento.