I tillegg til å etablere systemet med de frie burgherne, begynte også van Riebeeck og VOC å importere store antall slaver, først og fremst fra Madagaskar og Indonesia. De nederlandske bosettere avlet mange barn med disse slavene, og deres etterkommere ble kjent som Cape Coloureds (fargede) og Cape Malays. Et betydelig antall av avkommet fra ekteskap eller samkvem mellom hvite og slaver ble absorbert i den lokale afrikaans-språklige hvite befolkningen. Med denne ytterligere arbeidskraften ekspanderte området som var okkupert av VOC enda lenger mot nord og øst og førte til uunngåelige sammenstøt med khoikhoi. Nykommerne drev de omringede khoikhoiene fra deres tradisjonelle land, desimerte dem med introduserte sykdommer og ødela dem med overlegne våpen når de tok til motstand, noe de gjorde i et antall betydelige kriger og med motstandsbevegelser som brukte geriljakrigføring som fortsatte inn på 1800-tallet. De fleste overlevende stod uten annen mulighet enn å arbeide for europeerne i en utnyttende ordning som skilte seg lite fra slaveri. Over tid blandet khoisan, europeere og importerte slaver seg og dannet grunnlaget for dagens fargede befolkning.