Né à Morgenzon, une ferme située dans le district de Winburg au sein de l'État libre d'Orange, Charles Swart est le des six enfants de Hermanus Bernardus Swart (1866-1949) et de Aletta Catharina née Robberts (1870-1929). Il a 5 ans quand commence la seconde Guerre des Boers (1899-1902). En 1900, il est interné avec sa mère et sa fratrie dans le camp de concentration britannique bâti à Winburg, où deux de ses frères décèdent. Son père est quant à lui blessé et fait prisonnier par les Britanniques à la Bataille de Paardeberg.