En los siglos XVII y XVIII se modificó significativamente su silueta, elevando los muros, desmochando torres y construyendo el ala este para fundición de cañones.