Recuperado de nuevo por tropas francesas, fue abandonado definitivamente a mitad del siglo XVI, en 1569, a raíz del Tratado de los Pirineos, sirviendo de escondrijo a ladrones y asesinos a partir de entonces, hasta que el rey de Francia ordenó su destrucción, dinamitándolo y casi destruyéndolo por completo, a finales del mismo siglo.