A lo largo del siglo XVIII la villa de Gandul fue despoblándose y los marqueses dejaron de visitar el palacio, quedando reducido a [[granero]] y almacén de aperos agrícolas.