Sufrirá diversos daños y otras transformaciones importantes: incendio del Gran Gobierno en 1670 y reconstrucción en estilo clásico de la época bajo Luis XIV de Francia; transformación del castillo en arsenal en el siglo XVIII, con la construcción del edificio de Atavíos para resguardar la artillería; la explosión de la torre de los Españoles el 25 de mayo de 1800 entrañara la destrucción de la capilla y los archivos.