Han var det sjette av syv barn, sønn av Hermanus Bernardus Swart (1866–1949) og Aletta Catharina Robberts (1870–1929). Den andre boerkrigen brøt ut da han var bare fem år gammel. I løpet av krigen ble han, sammen med sin mor og sine søsken, flyttet til konsentrasjonsleiren i Winburg. Det var kun to av de tre guttene som overlevde oppholdet i konsentrasjonsleiren. Faren hans ble skadet og tatt til fange av britene under slaget om Paardeberg. Han krigsfange ble holdt som krigsfange i Groenpunt og Simonstad til slutten av krigen.