Øya har hatt en rekke herskere i århundrenes løp. Antagelig var øya håndtert av antikkens Kartago, og etter at byen Kartago ble ødelagt i 146 f.Kr. kom øya på romerske hender. En arkeologisk undersøkelse av Djerba, utført i tidsrommet 1995 and 2000 av amerikanske arkeologer i samarbeid med det tunisiske Instiut National du Patrimoine, identifiserte mer enn 400 arkeologiske steder på øya. Mange av dem var kartagiske og romerske villaer. Siden har normannere på Sicilia, spanjoler, osmanere og franskmenn hersket over den. Øya ble tett befolket i romersk og østromersk tid. Det kan påvises et sammenbrudd en gang etter 650 da den justinianske pesten kan ha rammet havnen i Meninx.