Beşinci yüzyılda Konstantinopolis'ten yönetilen Roma İmparatorluğu'nun doğu kolu kentin kontrolünü elinde tutuyordu. Beşinci yüzyılın başında, birkaç on yıl içinde, şehir Bizans egemenliğinden Pers egemenliğine, ardından tekrar Roma-Bizans egemenliğine geçti. Sasani İmparatoru II.Hüsrev'in 7.yüzyılın başlarında Bizans'a saldırıp Suriye'ye girmesinin ardından Sasani generalleri Shahrbaraz ve Şahin Vahmanzadegan o sırada Kudüs'teki Bizanslılara karşı ayaklanan Palaestina Prima Yahudilerinin de yardımıyla Kudüs'e saldırdı. MS 614'teki Kudüs Kuşatması'nda 21 günlük amansız Sasani kuşatmasının ardından Kudüs Sasanilerce ele geçirildi. Bizans kronikleri, Sasaniler ve Yahudilerin şehirde, birçoğu Mamilla Havuzu'nda olmak üzere on binlerce Hıristiyan'ı katlettiklerini ve Kutsal Kabir Kilisesi de dahil olmak üzere anıtlarını ve kiliselerini yok ettiklerini anlatır. El değiştiren şehir, Bizans İmparatoru Herakleios tarafından 629'da yeniden ele geçirilene kadar on beş yıl kadar Sasanilerin elinde kaldı.