Sy grootste militêre prestasie was waarskynlik sy heldetog deur die Kalahari in hierdie tyd. Na 'n periode van tronkstraf is hy op 22 November 1916 vrygelaat.
Nadat hy lid geword het van die Nasionale Party, is hy in 1920 tot Volksraadlid vir Wolmaransstad verkies; hy het hierdie kiesafdeling tot sy dood verteenwoordig.
Kemp is op 31 Desember 1946 op Piet Retief oorlede. Hy was 'n dapper en vasberade man wat vurig aan 'n republikeinse regeringsvorm vir Suid-Afrika geglo het.