Cuando el XII duque murió en 1953, su hijo el XIII duque tuvo que hacer frente a una fuerte suma en concepto de impuesto de sucesiones, y como consecuencia, la parte demolida no se reconstruyó y la casa quedó en estado de semi abandono.