Im Sezessionskrieg diente Kemper ab 1861 mit dem Dienstgrad Brigadegeneral im provisorischen Heer von Virginia und danach als Oberst im konföderierten Heer. Er war Kommandeur des 7. Virginia-Infanterie-Regiments. Das Regiment war von Juni 1861 bis März 1862 Generalmajor A. P. Hills Brigade in Generalmajors James Longstreets Division der Nord-Virginia-Armee unterstellt. Das erste Gefecht, an dem Kemper teilnahm, war die Erste Schlacht am Bull Run. Aufgrund einer hervorragenden Leistung in der Schlacht von Seven Pines während des Halbinsel-Feldzugs wurde Kemper am 3. Juni 1862 zum Brigadegeneral befördert. Während der Abwesenheit des verwundeten General Picketts kommandierte Kemper kurzfristig dessen Division und nahm nach der Rückkehr Picketts wieder seinen alten Posten als Brigadekommandeur ein.