Byen mistet sin betydning på 200-tallet, da handelen avtok i en økonomisk nedgangstid. Ved midten av 300-tallet var store deler av byen forlatt, og i 439 havnet byen og det øvrige Tripolitanaområdet i vandalenes makt, og bymurene ble revet på keiser Geiseriks ordre. I 523 ble byen ytterligere ødelagt av berberne, før den bysantinske hærfører Belisarius (under keiser Justinian den store) tok kontroll over området ti år senere. I ca. 120 år var byen en beskjeden bysantinsk provinshovedstad, før den ble forlatt rundt 650.