Jabarkan Sejarah dari Al-Jami' al-Aqsha

Area masjid ini dahulu adalah bagian perluasan pembangunan bukit oleh Raja Herodes Agung, yang dimulai pada tahun 20 SM. Herodes memerintahkan tukang batu untuk memotong permukaan batu di sisi timur dan selatan bukit, dan melapisinya. Sisa-sisa pembangunan tersebut saat ini masih dapat ditemukan di beberapa lokasi.

Ketika Bait Kedua masih berdiri, situs tempat masjid saat ini berdiri disebut dengan nama Serambi Salomo, dan pada tiap sisinya terdapat gudang kuil yang dinamakan chanuyot, yang memanjang sampai ke sisi selatan bukit. Konstruksi tiang-tiang kolom besar persegi di bagian utara masjid serta tembok-temboknya, baru-baru ini ditetapkan memiliki usia jauh lebih tua daripada yang diperkirakan sebelumnya oleh peneliti-peneliti terdahulu (berdasarkan tulisan para saksi mata dari masa itu), yaitu bahwa konstruksi tersebut berasal dari masa kekuasaan Romawi. Tembok-tembok tersebut dibangun kembali atau diperkuat tidak lama setelah penghancuran Yerusalem pada tahun 70 Masehi. Struktur bawah tanah bangunan ini berasal dari masa kembalinya orang Yahudi dari pembuangan Babilonia mereka, yaitu 2.300 tahun yang lalu. Situasi politik telah menyebabkan penggalian lebih lanjut di area tersebut tidak memungkinkan. Pada saat gempa bumi tahun 1930-an merusak masjid ini, penanggalan atas beberapa bagian yang terbuat dari kayu sempat dilakukan, yang menunjukkan kurun 900 SM. Kayu-kayu tersebut adalah cypress (sejenis cemara) dan akasia. Jenis yang disebut terakhir menurut Alkitab digunakan oleh Raja Salomo dalam konstruksi bangunan-bangunannya di bukit tersebut pada sekitar 900 SM.

Bersama dengan Bait Suci, chanuyot yang ada ikut hancur oleh serangan Kaisar Romawi Titus (saat itu masih jenderal) pada tahun 70. Kaisar Yustinianus membangun sebuah gereja Kristen di situs ini pada tahun 530-an, yang dipersembahkan bagi Perawan Maria dan dinamakan "Gereja Bunda Kami". Gereja ini belakangan dihancurkan oleh Kaisar Sassania Khosrau II pada awal abad ke-7, hingga tersisa sebagai reruntuhan.