En este mismo siglo, los Núñez de Toledo, descendientes de los Álvarez de Toledo, emprendieron obras de ampliación en el edificio y levantaron un doble muro alrededor de su núcleo principal.