Området var tenkt å være et såkalt forvaltningsområde da Folkeforbundet ble avløst av FN etter andre verdenskrig, men Sør-Afrika nektet å la området forberede seg til selvstendighet. I praksis ble territoriet styrt som en femte sørafrikansk provins, selv om det aldri formelt ble en del av Sør-Afrika. Sør-Afrika begrunnet til dels sine krav på Sørvest-Afrika med at man hadde styrt der i årtier og investert summer i infrastruktur og modernisering. Walvis Bay og Penguinøyene var blitt annektert av Storbritannia som en del av Kappkolonien i 1878 og ble dermed en del av Den sørafrikanske union da den ble opprettet i 1910. Walvis Bay ble overført fra Sør-Afrika til Sørvest-Afrika i 1922, og til Kapprovinsen i 1977.