Flere problemer måtte løses det første året, for eksempel var tømmeret de har brakt med seg for å bygge hus av, lastet helt nederst i skipene. Det tok to uker før hyttene var bygget og alle bodde på land istedenfor i skipene. De enkle husene holdt ikke vinterregnet ute, og flere i kolonien ble syke. Fortets fire bolverk ble ferdige ett etter ett, Reijger 3. august, Dromedaris 14. april 1653, Walvis i mai 1653 og «Witte Olifant» i juni 1653. 31. desember 1653 meldte van Riebeeck til VOC at fortet var ferdig og kunne forsvares.