La población continuó asentada en torno al Castillo de San Romualdo y al Real Carenero, aunque a lo largo de los siglos XVII y XVIII se establecieron nuevas viviendas y construcciones a lo largo del "Camino Real" de Cádiz (actual Calle Real), en especial comerciantes gaditanos que tenían en San Fernando sus segundas residencias (a pesar de ello la población no llegaba a los trescientos habitantes).