Kemp ontvang sy skoolopleiding aan die Staatsgimnasium in Pretoria en bekwaam hom in 1889 as onderwyser. Twee jaar later aanvaar hy 'n betrekking in die onderwysdepartement van die Z.A.R. en word ook luitenant in die vrywilligers vir die distrik Krugersdorp. Hy dien in verskeie veldtogte teen inboorlingstamme en ook in die Jameson-inval. Hy onderskei hom in die Anglo-Boereoorlog en vorder tot die rang van generaal. Met die oprigting van die Unie-Verdedigingsmag in 1912 word hy offisier, maar sluit hom aan by die 1914-Rebellie, waartydens hy 'n geskiedkundige trek deur die Kalahariwoestyn onderneem saam met sy eenheid en ná die rebelle verslaan is, Duits-Suidwes bereik. Hy het hom later aan die Suid-Afrikaanse owerheid oorgegee. Hy is tronkstraf opgelê, maar in 1916 vrygelaat.