古列二世释放了犹太人，并允许犹太人重建圣殿。重回故地的犹太人开始了圣殿的重建，但重建过程并不顺利，直至大流士时期才完成，大流士也对第二圣殿的重建给予了帮助，此时已是第一圣殿被毁70年后的前516年，整个重建过程被记录在旧约的以斯拉记。公元前19年，大希律王开始了大规模的整修和扩建第二圣殿，由此有时被称为希律圣殿，但大部分情况下它仍被称为第二圣殿，整个施工过程，祭典仪式继续进行。 公元70年，耶路撒冷在犹太战争中被罗马帝国将军提图斯攻陷，第二圣殿也被毁，圣殿里的圣物被掳往帝国首都罗马城，为纪念这件事情