Jerusalem og tempelet ble gjenoppbygd da israelittene vendte tilbake fra fangenskapet. Stattholderen i landet het Serubabel, og spilte en viktig rolle i arbeidet. Derfor ble tempelet kalt Serubabels tempel. Det fins ikke så mange opplysninger om hvordan dette tempelet så ut. Det var ikke så praktfullt som Salomos tempel. Ifølge noen kilder var det bare én lysestake og ett skuebrødsbord der. Paktens ark fantes ikke i det tempelet. Noen sier at det isteden var en stor stein i det aller helligste. Alteret utenfor var laget av tilhugget stein. Det ble reist et nytt alter, også av stein, etter at makedonerne hadde vanhelliget tempelet under Antiokos IV Epifanes.