紀元前539年に新バビロニアがアケメネス朝ペルシアに滅ぼされると、ペルシア王キュロス2世はユダヤ人のエルサレムへの帰還を認め、エルサレムは再建された。紀元前515年にエルサレム神殿も再建（第二神殿）された。紀元前332年のガザ包囲戦でアレクサンドロス3世が勝利し、大きな歴史の画期となった。それ以降エルサレムはアレクサンドロス帝国、セレウコス朝シリアの支配下となった。紀元前140年頃にはユダヤ人がハスモン朝を建てて自立したものの、ローマ帝国の影響が強まり、紀元前37年にはローマの宗主権のもと、ヘロデ大王によってヘロデ朝が創始され、ローマの支配下におかれた。ヘロデは第二神殿をほぼ完全に改築し、ヘロデ神殿と呼ばれる巨大な神殿を建設した。