La muerte del quincuagésimo duque de Medinaceli en 1873 hace que la viuda traslade su vivienda a un palacete cerca de la plaza de Colón y el abandono del palacio motiva su demolición.