被毁70年后的前516年，整个重建过程被记录在旧约的以斯拉记。公元前19年，大希律王开始了大规模的整修和扩建第二圣殿，由此有时被称为希律圣殿，但大部分情况下它仍被称为第二圣殿，整个施工过程，祭典仪式继续进行。 公元70年，耶路撒冷在犹太战争中被罗马帝国将军提图斯攻陷，第二圣殿也被毁，圣殿里的圣物被掳往帝国首都罗马城，为纪念这件事情，罗马人开建了提图斯凯旋门。自公元411年西哥特王国攻佔罗马城后圣物现已下落不明，凯旋门上的雕塑成为人们对圣物的推测根据。