En 1816, Fernando VII encargó al arquitecto Carlos Isidro González Velázquez que restaurara el palacio.