Herodes den store sørget for at tempelet ble ombygd og fornyet. Den nye strukturen har tidvis blitt referert til som Herodes’ tempel, men det blir fortsatt kalt «det andre», og det tredje tempelet, ettersom de hellige ritualene fortsatte uavbrutt gjennom hele byggeprosessen.