En las décadas de los 1980 y 1990, el palacio fue abandonado paulatinamente por la familia Franco.