In 1680 het die gesagvoerder Simon van der Stel sy intrek in die Kasteel geneem. In April 1684 is 'n nuwe ingang aan die landkant van die Kasteel, tussen die bolwerke Buren en Leerdam, voltooi. Die oorspronklike ingang van die seekant is toegebou. In 1691 is 'n breë dwarsmuur, bekend as die Kat, opgerig om die Kasteel inwendig te versterk. Die benaming Kat was 'n term wat in die vestingboukunde gebruik is vir 'n hoë konstruksie waardeur die omliggende gebied bespied kon word. Teen hierdie dwarsmuur is daar vertrekke aangebou vir die sittings van die Politieke Raad en Raad van Justisie en 'n groot saal vir kerkdienste en sosiale byeenkomste. Die Kasteel was in die 18e en vroeë 19e eeu die middelpunt van die Kaapse samelewing. Dit sou jare lank diens doen as regeringsentrum, militêre hoofkwartier, woning van amptenare, ambagskwartier, magasyn en pakhuis, siekehuis, gevangenis en plek van openbare teregstelling.
Later was die Kasteel die hoofkwartier van die Kommandement Westelike Provinsie van die Suid-Afrikaanse Weermag.