539年，波斯帝国推翻了新巴比伦王国。波斯王古列（Cyrus the Great）颁旨，让犹太人在公元前537年回耶路撒冷重建圣殿。由于重建过程并不顺利，第二座圣殿于公元前515年完工。在公元前37年，圣殿由大希律王得到扩建。直至公元70年，犹太人反抗罗马帝国暴政，结果提多将军率军围攻耶路撒冷，圣殿被焚毁，仅留下西边一道围墙（哭墙）。焚毁第二圣殿后，罗马帝国曾在圣殿遗址上盖一座罗马的最高神祇朱彼特之神庙，将犹太省改名为巴勒斯坦。公元637年，伊斯兰教的阿拉伯帝国兴起，佔领巴勒斯坦后，在圣殿遗址上兴建奥玛