Mot slutten av perioden sa Det første tempeletforstatt stod, ble byen utvidet vestover. Like før den romerske erobring av Jerusalem og ødeleggelsen av Det andre tempel, skildrer Josefus Sionfjellet som en ås på tvers av dalen i vest. Dermed vart den vestlige åsen som strakk seg sør for Gamlebyen kalt Sionfjellet, og dette har vært tilfellet siden den gang. Mot slutten av romertiden ble det bygd en synagoge ved inngangen til strukturen kalt Davidsgraven, trolig fordi man trodde David førte Paktskisten hit fra Beit Shemesh og Kiryat Ye'arim før tempelet ble bygd.