Bereits in der Zeit des ersten Tempels stand hier eine Festung, der so genannte Haenaelturm. Nach dem Exil erfolgte unter Nehemia der Neuaufbau von Stadt und Tempel, in dessen Verlauf auch die inzwischen zerstörte Festung wieder aufgebaut wurde. Im Jahre 167 v. Chr. wurde die Festung durch die Seleukiden erneut zerstört, und an gleicher Stelle eine neue Festung errichtet. Diese hieß fortan "Baris" („Burg“). Herodes der Große baute sie zu einer prächtigen Palastfestung aus, in der er bis 23 v. Chr. residierte, bevor er in den neuen Königspalast auf dem Westhügel umzog. Zu Ehren seines Gönners Antonius nannte er die Festung nun "Antonia". Nach dem Tod des Herodes wurde dort eine Kohorte der X. Legion stationiert. Im Jahr 66 wurde sie während des jüdischen Krieges von Zeloten in Brand gesteckt. Nach der Eroberung der Stadt im Jahr 70 durch römische Truppen wurde die Festung auf Befehl des Titus geschleift.