Tanto el palacio como los jardines sufrieron la dejadez de sus propietarios y las vicisitudes del tiempo, y quedaron casi abandonados en varias ocasiones.