希律王得到扩建。直至公元70年，犹太人反抗罗马帝国暴政，结果提多将军率军围攻耶路撒冷，圣殿被焚毁，仅留下西边一道围墙（哭墙）。焚毁第二圣殿后，罗马帝国曾在圣殿遗址上盖一座罗马的最高神祇朱彼特之神庙，将犹太省改名为巴勒斯坦。公元637年，伊斯兰教的阿拉伯帝国兴起，佔领巴勒斯坦后，在圣殿遗址上兴建奥玛清真寺，在毗邻处兴建阿克萨清真寺。
第三圣殿.2001年7月29日，犹太教极端团体“圣殿山忠诚者”在耶路撒冷旧城马格里布门外的一个停车场举行简短仪式，纪念犹太第一和第二圣殿遭到外族毁灭