Nykyisen Sfaxin ensimmäiset asukkaat olivat alueelle 1000–800-luvuilla eaa. saapuneet foinikialaiset siirtolaiset ja myöhemmin alueesta tuli osa Karthagon valtakuntaa. Rooman valtakunta kukisti Karthagon vuonna 146 eaa. ja roomalaiset tunsivat kaupungin nimellä Taparura. Jonkin verran kaupungista etelään sijaitsi Thaenae (Thina)-niminen kaupunki ja molemmat päätyivät osaksi Africa Proconsularis-nimistä Rooman provinssia. Vuonna 46 eaa. Julius Caesar voitti kilpailijansa Cato nuoremman ja Numidian kuningas Juba I:n Thapsuksen taistelussa kaupungin muurien ulkopuolella. Näihin aikoihin kaupunki oli osa Tunisian sisämaat rannikkoon yhdistäneitä kauppareittejä. Kaupunkia ympäröivä maaseutu oli myös merkittävä viljan lähde Roomalle. 300-luvulle jaa. mennessä paikallinen viljantuotanto oli muuttunut oliivipuiden viljelyksi ja kaupunki oli merkittävimpiä oliiviöljyn tuottajia Rooman valtakunnassa.