Partiendo desde el señorío de Álvaro de Luna, pues se desconoce la estructura anterior a su llegada y la descripción que pudiera hacerse estaría basada en suposiciones, éste aprovechó la muralla para comenzar la actual fortificación, reutilizando dos paños de la misma, y manteniendo la puerta mudéjar que se localiza en la fachada sur.