Il declino si profilò a partire dal IV secolo, con la graduale decadenza dell'Impero romano e le prime incursioni di popolazioni berbere, e venne accelerato da una serie di eventi naturali, primo tra tutti il terribile terremoto del 365. Nel 439 i Vandali di Genserico conquistarono la città, ma furono cacciati dai bizantini al comando dei generalissimi Narsete e Belisario.