Jabarkan Era Islam dari Masjid Agung Gaza dalam bahasa melayu

Gereja Byzantine diubah menjadi masjid dalam abad ke-7 oleh para panglima Khalifah Umar al-Khattab RA, dalam era awal pemerintahan Gaza oleh Kekhalifahan al-Rasyidin. Masjid ini diberi nama alternatif, "al-Umari", sempena nama Sayidina Umar bin al-Khattab yang menjadi khalifah semasa penaklukan Palestin oleh Muslim. Dalam tahun 985 M, semasa pemerintahan Kekhalifahan Abbasiyah, ahli geografi Arab, al-Muqaddasi menulis yang Masjid Agung sebuah "masjid yang indah." Pada 5 Disember 1033, bahagian hujung menara masjid runtuh akibat  gempa bumi.

Dalam tahun 1149 M para Salibi yang menakluk Gaza dalam tahun 1100 membina sebuah katedral yang ditahbiskan kepada  John Pembaptis di atas runtuhan gereja atas dekri Baldwin III dari Jerusalem. Bagaimanapun, katedral ini tidak disebut dalam pemerian William dari Tyre tentang gereja-geraj agung Salibi. Antara tiga laluan Masjid Agung sekarang, dipercayai bahawa sebahagian daripada dua laluan tersebut membentuk sebahagian daripada Katedral John Pembaptis.

Dalam tahun 1187 M Wangsa Ayyubbiyah di bawah pimpinan Salahuddin al-Ayyubi merampas Gaza daripada pihak Salibi dan memusnahkan katedral tersebut.

Orang Mamluk membina semula masjid dalam abad ke-13, akan tetapi masjid dimusnahkan pula oleh Mongol dalam tahun 1260.  Masjid dipulih sekali lagi akan tetapi ia runtuh semasa gempa bumi dalam tahun 1296.  Pengubahelokan besar yang tertumpu kepada iwan dilakukan di bawah gabenor Sunqur al-Ala'i semasa kesultanan Husam al-Din Lajin antara tahun 1297-99. Gabenor Mamluk bandar, Sanjar al-Jawli menjalankan pemulihan Masjid Agung antara tahun 1311 and 1319. Akhirnya pihak Mamluk membina semula masjid ini dalam tahun 1340. Dalam tahun 1355 ahli geografidan pengembara Muslim, Ibn Battuta menulis yang masjid lama itu "sebuah masjid Jumaat yang amat baik" tetapi beliau juga berkata yang masjid al-Jawli "dibina dengan baik." Pahatan pada masjid menunjukkan tanda tangan sulatan-sultan Mamluk al-Nasir Muhammad (bertarikh 1340), Qaitbay (bertarikh Mei 1498), Qansuh al-Ghawri (1516), dan khalifah Abbasiyah al-Musta'in Billah (1412).

Masjid abad ke-16 dipulihkan selepas kerosakn yang dialami pada abad sebelumnya; pemerintah Uthmaniyah memulihkannya dan juga membina enam buah masjid di dalam kota.  mereka menguasai Palestin semenjak tahun 1517. Terdapat tanda tangan gabenor Uthmaniyah,  Musa Pasha (saudara Husayn Pasha), yang bertarikh  tahun 1663 terdapat di bahagian dalaman masjid.