Die eerste geboue dateer uit 1815 toe die militêre pos bekend was as die Witrugkamp en ook as die East Barracks. Tydens die Vyfde Grensoorlog (1818-1819) was hier 'n garnisoen van 301 man onder kol. Thomas (Tiger Tom) Willshire gestasioneer. Na 1850 was die fort die hoofkwartier van die Kaapse Korps onder die bevel van genl.-maj. (later sir) Henry Somerset, 'n bekende aanvoerder tydens die Kaapse grensoorloë en seun van goewerneur lord Charles Somerset.