Yerusalem
Ketika Aleksander Agung menaklukkan Kekaisaran Persia, Yerusalem dan Yudea berada di bawah kendali Makedonia, pada akhirnya jatuh ke dalam kekuasaan Dinasti Ptolemaik pimpinan Ptolemaios I. Pada tahun 198 SM, Dinasti Seleukid pimpinan Antiokhos III merebut Yerusalem dan Yudea dari Ptolemaios V. Upaya Seleukid untuk menata kembali Yerusalem sebagai suatu negara-kota Helenis
mencapai puncaknya pada tahun 168 dengan terjadinya pemberontakan Makabe yang dipimpin oleh Matatias dan lima putranya melawan Antiokhos IV Epiphanes, serta pendirian Kerajaan Hashmonayim oleh mereka pada tahun 152 SM dengan Yerusalem sebagai ibu kotanya.
Pada tahun 63 SM, Pompeius Agung turut campur tangan dalam suatu perjuangan demi singgasana Hashmonayim dan merebut Yerusalem, sehingga memperluas pengaruh Republik Romawi atas Yudea. Setelah suatu invasi singkat oleh orang Partia, yang mana mendukung para penguasa Hashmonayim lawannya, Yudea menjadi suatu tempat perjuangan antara pasukan pro-Romawi dan pro-Partia, yang akhirnya memicu bangkitnya seorang Edom bernama Herodes.
Seiring dengan semakin kuatnya Roma, Herodes diangkat sebagai raja klien Yahudi. Herodes Agung, sebagaimana ia dikenal, mengabdikan dirinya untuk mengembangkan dan memperindah kota ini. Ia membangun berbagai tembok, menara dan istana, serta memperluas Bukit Bait Suci juga memperkuat halamannya dengan blok-blok batu dengan berat mencapai 100 ton. Dalam masa pemerintahan Herodes, areal Bukit Bait Suci
dilipatgandakan luasnya. Tak lama setelah wafatnya Herodes, Yudea pada tahun 6 M berada dalam pemerintahan Romawi secara langsung sebagai Provinsi Yudea, kendati Dinasti Herodian hingga Agripa II tetap menjadi raja klien atas wilayah di sekitarnya sampai tahun 96 M. Kekuasaan Romawi atas Yerusalem dan wilayahnya menghadapi tantangan dalam Perang Yahudi-Romawi Pertama
yang berakhir dengan kemenangan Romawi. Bait Kedua dihancurkan pada tahun 70 M, dan seluruh kota dihancurkan dalam perang tersebut. Yosefus, sejarawan Yahudi pada saat itu, menuliskan bahwa kota ini "hampir seluruhnya diratakan dengan tanah oleh mereka yang menghancurkannya sampai fondasinya, sehingga tidak ada yang tersisa yang pernah dapat meyakinkan para pengunjung
bahwa di situ pernah menjadi suatu tempat pemukiman." Kekuasaan Romawi kembali ditantang selama pemberontakan Bar Kokhba yang bermula pada tahun 132 M dan ditumpas oleh orang Romawi pada tahun 135 M.
Setelah pemberontakan Bar Kokhba, Kaisar Hadrianus menggabungkan Provinsi Yudea dengan provinsi-provinsi di sekitarnya dengan nama baru Syria Palaestina untuk menggantikan nama Yudea. Kota ini diganti namanya menjadi Aelia Capitolina, dan dibangun kembali dengan gaya seperti suatu kota Romawi pada umumnya. Orang Yahudi dilarang memasuki kota ini, dengan konsekuensi hukuman mati, kecuali untuk
satu hari pada setiap tahunnya yaitu saat hari peringatan Tisha B'Av. Bila digabungkan, langkah-langkah tersebut (yang mana juga berdampak pada kaum Kristen Yahudi) pada dasarnya merupakan "sekularisasi" kota ini. Larangan itu dipertahankan hingga abad ke-7, walau kaum Kristen segera diberikan pengecualian sebab sepanjang abad ke-4 Kaisar Romawi Konstantinus I
memerintahkan pembangunan tempat-tempat suci Kristen di kota ini, misalnya Gereja Makam Kudus. Sisa-sisa pemakaman dari periode Bizantin secara eksklusif bercorak Kristiani, sehingga menunjukkan bahwa populasi Yerusalem pada zaman Bizantium kemungkinan hanya meliputi kaum Kristen.
Pada abad ke-5, kelanjutan Kekaisaran Romawi di belahan timur memerintah dari Konstantinopel yang belum lama memperoleh nama barunya ini, dan mempertahankan kendali atas Yerusalem. Dalam rentang beberapa dekade, Yerusalem berpindah tangan dari kekuasaan Bizantium ke Persia, lalu kembali lagi ke dalam kekuasaan Bizantium-Romawi. Menyusul tekanan Khosrau II
dari Sasaniyah pada abad ke-7 melalui Siria, Shahrbaraz dan Shahin jenderal-jenderalnya ini menyerang Yerusalem (Persian: Dej Houdkh) dengan dibantu oleh kaum Yahudi dari Palaestina Prima, yang mana telah bangkit untuk melawan kaum Bizantin.
Dalam Pengepungan Yerusalem pada tahun 614, setelah 21 hari pengepungan militer tanpa kenal lelah, Yerusalem direbut. Kronik-kronik Bizantin menceritakan bahwa kaum Sasaniyah dan Yahudi membantai puluhan ribu orang Kristen di kota ini, banyak di antaranya di Kolam Mamilla, serta menghancurkan berbagai bangunan gereja dan monumen mereka, termasuk Gereja Makam Kudus. Episode tersebut telah menjadi subjek banyak perdebatan
di kalangan sejarawan. Kota taklukan ini tetap berada dalam kendali Sasaniyah selama kurang lebih 15 tahun hingga Kaisar Bizantium Heraklius merebutnya kembali pada tahun 629.
Yerusalem mencapai puncaknya dalam hal luas wilayah dan populasi pada akhir Periode Bait Kedua, yaitu ketika kota ini mencakup wilayah seluas dua kilometer persegi dan jumlah penduduknya 200000 orang.
Yerusalem Bizantin ditaklukkan oleh pasukan Arab pimpinan Umar bin Khattab pada tahun 638 M. Di kalangan Muslim dari era Islam awal disebut sebagai Madinat bayt al-Maqdis ("Kota Bait Allah") yang mana hanya sebatas pada wilayah Bukit Bait Suci (Kompleks al-Haram). Wilayah selebihnya dari kota ini "...disebut Iliya, mencerminkan nama Romawi yang diberikan untuk kota ini setelah
penghancurannya pada tahun 70 M: Aelia Capitolina". Belakangan Bukit Bait Suci dikenal dengan nama al-Haram al-Sharif, "Tempat Suci yang Mulia", sedangkan wilayah kota di sekitarnya kemudian dikenal sebagai Bayt al-Maqdis, dan selanjutnya masih disebut sebagai al-Quds al-Sharif "Kota Suci yang Mulia". Proses Islamisasi Yerusalem dimulai pada tahun pertama Hijriyah (623 M), ketika
kaum Muslim diinstruksikan untuk menghadap (kiblat) ke arah kota ini ketika melakukan sembahyang sehari-hari dan menurut tradisi keagamaan Muslim merupakan tempat terjadinya perjalanan malam Nabi Muhammad dan kenaikannya ke surga. Setelah 13 tahun, arah kiblat diganti ke Mekkah. Pada tahun 638 M Kekhalifahan Islam memperluas kekuasaannya ke Yerusalem. Dengan adanya penaklukan
oleh kaum Arab, kaum Yahudi diizinkan kembali ke kota ini. Khalifah Rasyidin Umar bin Khattab menandatangani suatu perjanjian dengan Patriark Kristen Yerusalem Sofronius, yang mana sang khalifah memberikan jaminan kepadanya bahwa penduduk dan tempat-tempat suci kaum Kristen di Yerusalem akan dilindungi di bawah pemerintahan kaum Muslim. Tradisi Arab-Kristen mencatat bahwa ketika Khalifah Umar akan memimpin
sembahyang di Gereja Makam Kudus, yakni salah satu tempat tersuci bagi kaum Kristen, ia menolak untuk bersembahyang di dalam gereja tesebut sehingga kaum Muslim tidak akan meminta konversi Gereja Makam Kudus menjadi sebuah masjid. Ia bersembahyang di luar gereja tersebut, tempat dimana Masjid Umar (Omar) berdiri hingga saat ini, berlawanan arah dengan pintu masuk Gereja
Makam Kudus. Menurut Arculf, seorang uskup dari Galia yang tinggal di Yerusalem antara tahun 679-688, Masjid Umar merupakan sebuah bangunan berstruktur kayu dengan bentuk persegi panjang yang dibangun di atas reruntuhan dan dapat menampung 3000 jemaah.
Ketika kaum Muslim pergi ke Bayt Al-Maqdes untuk pertama kalinya, mereka mencari lokasi Masjid Al-Aqsa ("Masjid Terjauh") yang disebutkan dalam Al-Qur'an dan Hadits menurut keyakinan Islam. Sumber-sumber Ibrani dan Arab dari masa itu mengatakan bahwa situs tersebut penuh dengan sampah sehingga kaum Arab dan Yahudi bersama-sama membersihkannya. Khalifah Umayyah Abdul Malik bin Marwan
memerintahkan pembangunan Kubah Shakhrah (Kubah Batu) pada akhir abad ke-7. Syamsuddin Al-Maqdisi, seorang sejarawan abad ke-10, menuliskan bahwa Abdul Malik membangun shakhrah tersebut agar dapat mengimbangi kemegahan gereja-gereja monumental di Yerusalem.