En 1583 Diego Fernández de Cabrera y Bobadilla, tercer conde de Chinchón, encargó su reconstrucción a Juan de Herrera, el arquitecto real, cambiando una de las torres su base, por otra de forma cuadrada y más alta, siendo ésta distinta a las otras tres que son redondas.