I de fem følgende århundrene etter Bar Kokhba-opprøret forble byen under romersk, og deretter bysantinsk kontroll. I det fjerde århundre anla den romerske keiser Konstantin kristne områder i Jerusalem, som Den hellige gravs kirke. Jerusalem nådde et høydepunkt i størrelse og antall innbyggere mot slutten av perioden for Det andre tempelet, da byen dekket et område på to kvadratkilometer og hadde innbyggere.