La destrucción definitiva del lugar llegó cuando, antes de abandonar Madrid, el general Hill, siguiendo las órdenes de Wellington, dinamitó la fábrica de porcelana y su fortín e incendió los almacenes de víveres situados en el palacio, a pesar de las repetidas exhortaciones del ayuntamiento de Madrid para adquirir dichos alimentos para la población.