Ved afslutningen på det babylonske fangenskab ca. 50 år senere, blev templet genopbygget under ledelse af eksiljøden Zerubbabel. 500 år senere gennemførte Herodes den Store en så omfattende ombygning og udvidelse af templet, at nogle regner Herodes' tempel for et tredje tempel. Dog blev templets daglige offerhandlinger aldrig afbrudt under Herodes' ombygning. Dette andet (tredje) tempel blev ødelagt kun seks år efter fuldendelsen i år 70 af den romerske hærfører Titus under den Første jødisk-romerske krig.