圣殿在公元前516年到公元70年间被重建，重建后的圣殿被称为第二圣殿，《以斯拉记》中记载了圣殿被重建的始末。第二圣殿的修建得到了波斯帝国的居鲁士大帝的授权，并得到了大流士一世的准许。第二圣殿于公元70年的犹太战争中毁于罗马帝国将军提图斯（后来成为罗马帝国皇帝）之手。（关于这场战争中罗马帝国一方获得的战利品，参见提图斯凯旋门。）