Μεγάλο μέρος της πρώιμης ιστορίας του Όρους είναι ταυτίζεται με τα γεγονότα που σχετίζονται με το ίδιο το ναό. Μετά την υποτιθέμενη καταστροφή του Ναού του Σολομώντα από τον Ναβουχοδονόσορα Β΄, η κατασκευή του Δεύτερου Ναού ξεκίνησε την εποχή του Κύρου, γύρω στο 538 π.Χ., και ολοκληρώθηκε το 516 π.Χ.. Ο Ολλανδός αρχαιολόγος Λεν Ριτμέγιερ ανακάλυψε ίχνη επέκτασης του όρους κατά τη διάρκεια της Ασμοναϊκής δυναστείας. Γύρω στο 19 π.Χ., ο Ηρώδης ο Μέγας επέκτεινε ακόμη περισσότερο το βουνό και ξανάχτισε το ναό. Το φιλόδοξο σχέδιο, το οποίο περιλάμβανε την απασχόληση περίπου 10.000 ατόμων, υπερδιπλασίασε το μέγεθος του Όρος του Ναού σε περίπου 36 έικρ (150.000 m2). Ο Ηρώδης ισοπέδωσε την περιοχή απομακρύνοντας βράχους στη βορειοδυτική πλευρά και ανύψωσε το έδαφος στα νότια. Αυτό το κατόρθωσε με την κατασκευή τεράστιων τοίχων αντιστήριξης και θόλων, συμπληρώνοντας τα κενά με χώμα και μπάζα. Μια βασιλική (η Βασιλική Στοά) κατασκευάστηκε στο νότιο άκρο του διευρυμένου πλατώματος για να στεγάζει τις εμπορικές και νομικές συναλλαγές και διέθετε ξεχωριστή πρόσβαση στην πόλη μέσω αψίδας-γέφυρας του Ρόμπινσον. Επίσης, ο Ηρώδης κατασκεύασε το φρούριο Αντόνια στην βορειοδυτική γωνία του Όρους του Ναού και μια δεξαμενή βρόχινου νερού στα βορειοανατολικά. Το φρούριο καταστράφηκε από το Βεσπασιανό το 70 μ.Χ., κατά τη διάρκεια του πρώτου Ιουδαϊκού Πολέμου.