De bättre beställda flyttade samtidigt till stadens förorter och området blev en försummad del av Kapstaden .