Selv om han ble valgt for en syv år lang periode, var Swart kun president i seks år, før han pensjonerte seg i 1967. Han døde i 1982. Swart var populært kjent som «Blacki» (Swart er afrikaans for "svart").