Masjid Al-Aqsha
saat sang kaisar juga melarang perintah sunat yang dipandang sebagai sebentuk mutilasi bagi kaisar yang menganut seorang penganut Helenis taat. Hal ini berujung pada pemberontakan yang dipimpin Simon Bar Kokhba. Namun pemberontakan itu berhasil dihancurkan pihak Romawi pada tahun 135 M. Akibatnya, umat Yahudi diusir dari Palestina, dilarangnya penggunaan hukum Taurat dan penanggalan
Yahudi, dan menghukum mati ahli Yahudi. Kaisar Hadrianus membangun ulang kota Yerusalem sebagai sebuah kota Romawi bernama Aelia Capitolina dan umat Yahudi dilarang memasukinya. Di sisi lain, agama Kristen mulai bangkit dan menyebar di tubuh Kekaisaran Romawi hingga pada akhirnya menjadi agama resmi negara. Kaisar Konstantinus I melakukan kristenisasi masyarakat Romawi dan
mengunggulkannya atas pemujaan paganisme. Kuil Yupiter yang dibangun Kaisar Hadrianus di reruntuhan Bait Suci kedua dihancurkan segera setelah Konsili Nicea I atas perintah Konstantinus I.
Keponakan Konstantin, Kaisar Flavius Claudius Julianus memberikan izin kepada umat Yahudi kembali dan membangun ulang Bait Suci mereka pada tahun 363. Julianus sendiri memandang bahwa Tuhan umat Yahudi merupakan anggota yang sesuai untuk Dewa-Dewa Pantheon yang dia percaya, selain dia juga adalah penentang kuat Kristen. Sejarawan gereja menyatakan bahwa umat Yahudi mulai membersihkan
puing-puing di Bukit Bait, tetapi gagal lantaran gempa bumi dan kemudian kemunculan api dari dalam bumi. Namun bukti-bukti arkeologi menunjukkan bahwa terdapat bangunan gereja, biara, atau bangunan umum lain yang berdiri di atas Bukit Bait pada masa kekuasaan Romawi Timur.
Pada tahun 610, Kekaisaran Sasania Persia mengalahkan Romawi dan merebut Palestina. Umat Yahudi diberi wewenang untuk mendirikan negara bawahan dan mulai membangun Bait Suci. Namun lima tahun kemudian, Romawi kembali mengambil alih Palestina dan umat Kristen menghancurkan Bait Suci yang belum selesai pembangunannya dan menjadikan tempat itu sebagai tempat pembuangan sampah.
Pada tahun 637, umat Islam mengambil alih kepemimpinan atas Yerusalem dari tangan Romawi Timur pada masa kepemimpinan Khalifah Umar bin Khaththab. Kompleks reruntuhan Bait Suci, dikenal sebagai Masjid Al Aqsha atau Baitul Maqdis oleh umat Islam, ditemukan Umar dalam keadaan tidak terawat. Meski begitu, Umar kemudian menemukan Batu Fondasi atas bantuan 'b Al Ahbar,
seorang Yahudi yang telah masuk Islam. Batu ini diyakini sebagai titik pijakan Nabi Muhammad naik ke langit dalam kepercayaan umat Islam dan tempat Nabi Ibrahim (Abraham) hendak menyembelih anaknya, Ishaq, dalam kepercayaan umat Yahudi. Al Ahbar mengusulkan untuk membangun masjid di sebelah utara batu tersebut agar umat Islam dapat menghadap ke arah 'bah dan batu tersebut
dalam satu garis lurus saat shalat. Namun Umar menolak gagasan itu dan membangun masjid di selatan batu. Pernyataan saksi mata yang pertama diketahui berasal dari Arcluf yang mengunjungi Masjid Al Aqsha pada tahun 670. Berdasar pernyataan Arcluf yang dicatat oleh Adomnán, dia melihat bangunan ibadah kayu persegi panjang dibangun di atas reruntuhan dan dapat menampung setidaknya 3000 jamaah.
Pada masa Kekhalifahan Umayyah, mulai didirikan beberapa bangunan di tanah Masjid Al Aqsha. Pada tahun 691, didirikan sebuah bangunan segi delapan berkubah yang menaungi Batu Fondasi oleh Khalifah Abdul Malik. Bangunan itu yang kemudian dikenal dengan Kubah Shakhrah, secara harfiah bermakna kubah batu.
Setelah kemenangan umat Kristen pada Perang Salib Pertama pada tahun 1099, kepemimpinan Yerusalem beralih ke tangan umat Kristen. Umat Muslim berlindung di Masjid Al Aqsha, tetapi hal tersebut tidak menolong. Gesta Francorum menyatakan "(Orang-orang kita) membunuh dan menyembelih bahkan di Bait Salomo (Masjid Al Aqsha), pembantaian begitu besar sampai orang-orang kita mengarungi
darah setinggi mata kaki." Fulcher, pendeta yang turut serta dalam Perang Salib pertama, menyatakan, "Di Bait (Suci) 10000 orang terbunuh. Memang, jika Anda di sana, Anda akan melihat kaki Anda diwarnai darah dari orang-orang yang terbunuh sampai mata kaki. Tapi apa lagi yang harus saya hubungkan? Tak satupun dari mereka dibiarkan hidup, baik wanita maupun anak-anak
tidak diampuni." Setelah peristiwa ini, Kerajaan Kristen Yerusalem didirikan. Jami' Al Aqsha diubah menjadi istana kerajaan dengan nama Templum Solomonis atau Kuil Sulaiman (Salomo) dan Kubah Shakhrah diubah menjadi gereja dengan nama Templum Domini (Kuil atau Bait Tuhan).
Kepemimpinan Yerusalem beralih kembali ke tangan umat Islam pada 1187 setelah kemenangan Shalahuddin Al Ayyubi. Semua jejak dan bekas peribadahan Kristen di Masjid Al Aqsha dihilangkan dan kompleks tersebut kembali kepada kegunaan asalnya. Kewenangan umat Islam terhadap Masjid Al Aqsha cenderung tanpa gangguan hingga lepasnya wilayahnya Palestina dari Utsmaniyyah.
Setelah Perang Enam Hari, pemerintah Israel mengambil alih kepemimpinan Kota Lama Yerusalem, termasuk di dalamnya Masjid Al Aqsha. Kepala Rabi dari Pasukan Pertahanan Israel, Shlomo Goren, memimpin pasukan melaukan perayaan keagamaan di Masjid Al Aqsha dan Tembok Barat dan mengeluarkan maklumat untuk menjadikan hari tersebut sebagai hari raya "Yom Yerushalayim" (Hari Yerusalem). Beberapa
hari setelah itu, 200000 umat Yahudi berbondong-bondong mendatangi Tembok Barat dan ini adalah ziarah massal pertama umat Yahudi ke kompleks ini sejak tahun 70 M. Awalnya pihak berwenang Muslim tidak menghalangi Goren ketika dia beribadah di Masjid Al Aqsha, hingga pada hari Tisha B'Av dia membawa lima puluh pengikutnya sembari membawa dan mengenalkan shofar (terompet
Yahudi) dan tabut portable saat ibadah, membuat ini dipandang sebagai peringatan keras bagi Lembaga Waqaf Yerusalem yang menggiring kepada buruknya hubungan antara pemerintah Israel dan pihak berwenang Muslim.
Pada Juni 1969, seorang Australia berusaha membakar Jami' Al Aqsha. Pada 11 April 1982, seorang Yahudi bersembunyi di Kubah Shakhrah dan melepaskan tembakan, membunuh dua orang Palestina dan 44 terluka. Pada 1974, 1977, dan 1983, kelompok yang dipimpin Yoel Lerner merancang makar untuk meledakkan Kubah Shakhrah dan Jami' Al Aqsha. Pada 26 Januari 1984, penjaga menemukan anggota B'nei Yehuda mencoba menyusup ke
dalam kawasan Masjid Al Aqsha dan meledakkannya. Pada 8 Oktober 1990, pasukan Israel yang berpatroli di daerah tersebut memblokir jamaah untuk masuk ke Al Aqsha. Gas air mata ditembakkan kepada jamaah wanita yang menyebabkan ketegangan meningkat. Pada tanggal 12 Oktober 1990, umat Islam Palestina memprotes keras niat beberapa orang Yahudi untuk meletakkan batu penjuru di lokasi Kuil Baru sebagai awal penghancuran
masjid-masjid Muslim.Upaya tersebut dihambat oleh pihak berwenang Israel, tetapi para demonstran dilaporkan secara luas karena telah melempari batu kepada umat Yahudi di Tembk Barat. Menurut sejarawan Palestina Rasyid Khalidi, jurnalisme investigatif menunjukkan bahwa tuduhan ini salah. Batu-batu akhirnya dilempar sementara pasukan keamanan melepaskan tembakan yang menewaskan 21 orang dan melukai 150
lainnya. Pada bulan Desember 1997, Badan Keamanan Israel mendahului upaya ekstrimis Yahudi untuk melempar kepala babi yang terbungkus halaman Al Qur'an ke daerah tersebut untuk menyulut kerusuhan dan mempermalukan pemerintah.
Antara tahun 1992 sampai 1994, pemerintah Yordania melapisi kubah dari Kubah Shakhrah dengan 5000 pelat emas. Mimbar Shalahuddin juga dipulihkan. Perbaikan ini diperintahkan Husain, Raja Yordania, dengan anggaran pribadi sebanyak $8 juta.
Pada 28 September 2000, pemimpin oposisi Israel Ariel Sharon mengunjungi Masjid Al Aqsha bersama dengan utusan Partai Likud dan sejumlah polisi anti huru-hara Israel. Kunjungan itu dipandang sebagai isyarat provokatif bagi rakyat Palestina yang kemudian berkumpul di tempat tersebut. Demonstrasi dengan cepat berubah menjadi kerusuhan dan ini menjadi pemicu terjadinya Intifadhah Kedua.