Herodes den store begynte den storstilte ombyggingen sin ca. 15 f.Kr. Arbeidet pågikk stadig på Jesu tid og deretter i ennå 30 år. Det tiltrakk omreisende håndverkere, og medførte at Jerusalem vokste sterkt i nordvestlig retning. Enorme steinblokker ble hogd ut i steinbruddene like nord for Tempelplassen. Blokkene måtte deretter rulles gjennom bygatene og heises på plass. Herodes' arkitekter utvidet tempelterrassen med en tredjedel til den nåværende plassen på 500 x 300 meter, hvilket gjorde den til den største åpne plassen i antikken. Den kom til å utgjøre en femtedel av Jerusalems daværende areal,, og tydeliggjorde at byen var en tempelby. Utvidelsen var problematisk, siden fjellet skrånet bratt nedover, slik at det måtte konstrueres en kolossal plattform til å bære terrassen.