Años más tarde en 1780, siendo comandante del castillo don Juan de Ayssa, volvió a ser atacado por los ingleses, esta vez al mando de un joven capitán de la Real Marina Británica, llamado Horacio Nelson (quien moriría con el grado de almirante el 21 de octubre de 1805 al final de la batalla de Trafalgar), el cual tomó el castillo después de varios días de sitio; pero una posterior epidemia de cólera mató a más ingleses que el asedio a la fortaleza, por lo que el futuro marino de Trafalgar fue llevado a Jamaica casi sin vida.