Gedurende die tydperk tussen 1666 en 1679 is die tydelike fort omskep tot Die Kasteel wat vandag die oudste bewaarde gebou in Suid-Afrika is. Die Kasteel De Goede Hoop was beplan as ’n halfwegstasie, maar het die hoeksteen geword vir die vestiging van die Westerse beskawing in Afrika.