El tercer conde de Chinchón, Diego Fernández de Cabrera y Bobadilla, decidió demoler los restos que quedaron.