圣殿重建工程在前515年3月（大流士一世在位第六年），也就是第一圣殿被毁70年后完成。接着尼希米又重新修建耶路撒冷城墙，使城市又恢复了繁荣。此后600年间，犹太地先后是波斯、希腊和罗马的一个省份，耶路撒冷则是犹太省的首府。在罗马统治的前期，曾委任代理王大希律王进行统治，大希律王在位时扩建了圣殿。公元6年，犹太地直接归属罗马统治。66年，一次反抗罗马的起义失败后，罗马军队围困耶路撒冷，但是很快撤军。犹太人本以为危机已经过去，不想公元70年，提多将军率领的罗马大军再次围困耶路撒冷达4个月25天之久，罗马军队