Según observó José Amador de los Ríos en 1850, el castillo estaba "colocado en un pequeño promontorio que se entra en el mar, presentando un aspecto formidable y siendo verdaderamente la llave del Guadalquivir." Sin embargo, fue tomado por las tropas francesas en 1810 y tras la expulsión de estas el gobierno inglés reclamó su demolición, la cual se terminó efectuando el 8 de febrero de 1813.