В возрасте семи лет Чарльз Роббертс Сварт пошёл в правительственную школу в Винбурге, в 13 лет сдал выпускные экзамены. В 1910 году поступил в Университетский колледж Грей в Блумфонтейне, в 1912 году получил там диплом бакалавра. В 1914 и 1915 году работал в Фиксбурге преподавателем. В 1914 году оказался на территории, охваченной восстанием Марица, был дважды арестован по подозрению в шпионаже и в желании примкнуть к восставшим, но был отпущен и помещён под домашний арест с разрешением преподавать. С 1915 по 1918 год продолжал обучение праву, при этом в 1918 году одновременно начал работу как секретарь экзаменационной комиссии провинции Оранжевая, а позже секретарём мэрии Блумфонтейна. С 1919 по 1948 год он был адвокатом в Блумфонтейне и одновременно преподавал право в Университетском колледже Грей и земельное право в Сельскохозяйственном колледже Глен.