Pero el ejército franco-español, a las órdenes del Duque de Crillón, recuperó y demolió el castillo en el año 1782, todo pensando que intercambiarían después la isla a los ingleses por Gibraltar.