Swart is in 1913 in die distrik Kestell in die Vrystaat gebore, maar op vroeë leeftyd verhuis die gesin na Ventersburg, waar hy sy skoolopleiding voltooi en daarna vir sy voorbereidende studie na die destydse Universiteitskollege van die Oranje-Vrystaat gaan. Sy teologiese opleiding ontvang hy aan die Kweekskool op Stellenbosch en word in 1938 gelegitimeer.