Nach der arabischen Eroberung von Karthago (697–698) und der Vertreibung der Berber aus der Region ließ der Feldherr Hassān ibn an-Nuʿmān die vorgefundene Moschee zerstören und sie mit Spolien aus Karthago neu aufbauen. Allerdings liegen weder historisch verwertbare Nachrichten noch archäologische Funde über die Größe und Gestaltung der ursprünglichen ersten Moschee vor. Der Lokalhistoriker Abū Bakr al-Mālikī datiert den Beginn dieser Arbeiten auf Oktober 703. Die Richtigkeit seiner Angabe kann in einem anderen Zusammenhang, in der Beschreibung der Zaitūna-Moschee von Kairouan, die gegen 711–712 entstanden ist, bei ad-Dabbāgh bestätigt werden. Der Gründer der Moschee war der wohlhabende Kaufmann Ismāʿīl b. ʿUbaid al-Anṣārī, der im Jahre 725 starb. „In dieser Moschee“, schreibt ad-Dabbāgh, „versammelten sich die Kairouaner zum Freitagsgebet, "wenn in der Hauptmoschee von ʿUqba Bauarbeiten stattfanden.“" Abū Bakr al-Mālikī nennt ihn wegen seiner Freigiebigkeit als den „Kaufmann Gottes“ ("tāǧiru llāh"), „der die große Moschee errichten ließ, die heute als die Zaituna-Moschee (Olivenbaum-Moschee) bekannt ist.“