Varhaisin maininta talosta on vuodelta 1748. Se näkyy myös vuosina 1750 ja 1753 tehdyissä piirustuksissa, joissa sen edessä on sotilaita vartiossa. Talo vaurioitui melko varmasti Gibraltarin piirityksessä vuosina 1779–1783. Se sijaitsi lähellä King's Bastionia, joka oli yksi pommitusten pääkohteista. Piirityksen jälkeen taloa kunnostettiin ja siihen lisättiin toinen kerros, joka näkyy myös vuonna 1830 tehdyissä piirustuksissa. Ranskalainen taiteilija Henri Regnault teki rakennuksesta 1860-luvulla kolme maalausta, jotka olivat pitkään siellä esillä. Varuskunta lopetti päävartion käytön alkuperäiseen tarkoitukseensa joskus vuosien 1896 ja 1911 välillä. Maailmansotien välisenä aikana siellä toimi paloasema. Toisen maailmansodan jälkeen se oli hetken yleinen kylpylä ennen kuin siitä tehtiin virastotalo.