El castillo propiamente dicho se debe a las reformas del siglo XVI, de Juan de Herrera y Francisco de Mora.