El declive del puerto empezó en el siglo XVII entre otros factores por las dificultades de navegación cada vez mayores por el canal del Guadalquivir debido al aumento de tonelaje de los barcos, las mejoras defensivas de la ciudad de Cádiz, la peste de 1649, la fijación de la cabecera de las flotas en Cádiz en 1680, y en 1717 el traslado de la Casa de la Contratación a dicha ciudad.