Kemp was een "bittereinder" tijdens de Tweede Boerenoorlog. Na de oorlog diende hij de Britsgezinde Unie van Zuid-Afrika, maar sloot zich in 1914 aan bij de anti-Britse Maritz-rebellie. De opstand werd onderdrukt en Kemp werd veroordeeld tot een gevangenisstraf. Later schopte Kemp het tot minister van landbouw onder premier James Barry Munnik Hertzog van 1924 tot 1939.