I det 18. år av hans styre (20-19 f.Kr.) fikk Herodes ombygd tempelet på «en mer storslått måte». Selv om arbeidet på de ytre bygningene og forgården fortsatte i ytterligere åtti år, ble det nye tempelet ferdiggjort i løpet av et og et halvt år. For å overholde den religiøse loven ansatte Herodes 1000 prester som murere og snekkere i ombyggingen. Det ferdige tempelet, som ble ødelagt i år 70 e.Kr., er tidvis referert til som Herodes' tempel. I dag er kun fire murer som står igjen, inkludert Klagemuren i vest. Disse murene skapte en flat plattform (Tempelhøyden) som tempelet ble bygget på.