La población se centraba únicamente en el castillo de Santiago de Barbate y en la fortaleza Jadraza de Zahara de los Atunes, que contaban con los medios de protección necesarios para repeler los abusos efectuados por la piratería.