Ved afslutningen på det babyloniske eksil blev templet genopbygget under ledelse af Zerubbabel og stod færdigt den 25. februar 516 f.Kr.. Templet gennemgik endvidere en så omfattende ombygning og udvidelse under Herodes den Store, at nogle regner Herodes' tempel for "det tredje tempel". Dog blev templets daglige offerhandlinger aldrig afbrudt under Herodes' ombygning. Dette andet tempel blev ødelagt under den Første jødisk-romerske krig af den romerske hærfører Titus i 70, kun 6 år efter at Herodes' ombygning stod færdig.