A principios del siglo XVI los Duques de Frías, Condestables de Castilla, reformaron el castillo de nuevo, añadiéndole el gran muro defensivo adherido a la torre del homenaje y el muro exterior dotado de cañoneras y un puente levadizo (hoy desaparecido).