Rundt 1793, da den store sørmuren nærmet seg ferdigstillelse, ble det åpnet et hotell på stedet, Pigeon House Hotel. Hotellet varte ikke lenge, for etter opprøret i 1798 ble området forvandlet til et militæranlegg, Pigeon House Fort. Hotellbygningen ble omgjort til offiserens innkvartering i fortet, som deretter vokste i løpet av de neste hundre årene til å omfatte et våpenlager, et sykehus og skyttergraver krysset av vindebroer.