La villa recibe en esta época en asalto y asedio de bandas piratas. Para mejorar las comunicaciones con Cádiz se construyen el Camino Real y el Puente Zuazo como es hoy, que se defiende con una serie de baterías defensivas, como la Batería de Zuazo. En el año 1562 se construyó el Real Carenero, la población trabajó allí y en la Almadraba de Hércules. En el año 1587, al igual que Cádiz, la villa es asaltada por el pirata Francis Drake. En el año 1596, es saqueada de nuevo por piratas ingleses. Para evitar ataques se construye Torre Alta, se fortifica el Puente Zuazo y el Caño de Sancti Petri se hace defensivo. Quizás por este último motivo la Almadraba de Hércules entra en crisis. En esa época tan solo había algunas casas diseminadas alrededor del Real Carenero y del Castillo de Sancti Petri. La villa era un coto de caza para los señores de Cádiz. En el año 1679 solo había 300 habitantes en la Isla. Al año siguiente se construye la primera iglesia de San Fernando, un convento de los Carmelitas descalzos.