De første kjente innbyggerne i Wes-Kaap-området ankom fra nord for rundt 100 000 år siden. Lite vites om historien til regionens første innbyggere siden det ikke finnes nedskrevne beretninger før de nevnes av den portugisiske oppdageren Bartolomeu Dias i 1486. Vasco da Gama beretter om Kapp det gode håp i 1497, men området hadde ikke fast kontakt med europeere før 1652 da Nederlands Jan van Riebeeck og andre ansatte i Det nederlandske ostindiske kompani (nederlandsk: , VOC) ble sendt til Cape for å etablere en forsyningsstasjon for skip på vei til Nederlandsk Øst-India. Byen vokste sakte i denne perioden. Grunnen til dette var at det var vanskelig å finne nok arbeidere, noe som førte til import av slaver fra Indonesia og Madagaskar. De opprinnelige beboerne i området, khoisan, av nederlenderne omtalt som , ble i løpet av få år underlagt den nederlandske kolonimakten. Slavene smeltet etter hvert sammen med den opprinnelige befolkningen og en del europeiske kolonister til en ny underklasse i det nederlandske kolonisamfunnet, de såkalte «fargede» som ennå er den dominerende folkegruppen i Cape Town.