Djerba est finalement placée sous souveraineté espagnole, de à et de à , mais sans occupation durable. Elle redevient une base temporaire pour Khayr ad-Din Barberousse et, de 1524 à 1551, l'une des principales bases des corsaires ottomans et nord-africains conduits par l'amiral Dragut. En avril , lors d'une expédition organisée par les chevaliers de Malte et le vice-roi de Naples contre lui, Dragut est bloqué dans un canal djerbien par les galères du Génois Andrea Doria mais parvient à leur échapper. Une flotte européenne, principalement composée de navires espagnols, napolitains, siciliens et maltais, sous la direction de Juan Luis de la Cerda, duc de Medinaceli, occupe à son tour l'île en 1560 pour l'aménager en base d'opération contre Tripoli. C'est dans ce contexte de rivalité pour le contrôle de la Méditerranée qu'une bataille navale oppose au large de l'île, du 9 au , cette flotte à la flotte ottomane menée par Piyale Pacha et Dragut. Les Ottomans coulent trente navires chrétiens et font le ; la petite garnison chrétienne de Djerba est exterminée après une farouche défense et ses ossements amoncelés en une pyramide, la Tour des crânes, qui subsiste jusqu'en .