Da Swart var sju år begynte han på den offentlige skolen i Winburg. Han gikk senere til en C.N.O.-skole, en skole opprettet av afrikanderne, som respons på Lord Milners anglofisering av de offentlige skolene. Senere ble skolene slått sammen, noe som resulterte i at Swart ble flyttet opp et trinn. Han var bare 13 år da han tok sin eksamen.