Lors de la deuxième bataille de Bull Run, la division de Kemper prend part à l'attaque surprise de Longstreet contre le flanc gauche de l'Union, détruisant pratiquement l'armée de Virginie du major général John Pope. Ensuite, sa division est fusionnée avec le commandement du général David R. Jones, et Kemper retourne à un commandement d'une brigade. À la bataille d'Antietam, il est au sud de la ville de Sharpsburg, se défendant contre l'assaut du major général Ambrose E. Burnside dans l'après-midi du . Il retire sa brigade en face de l'avancée de l'Union, exposant le flanc droit confédéré, et la ligne est sauvée par l'arrivée précipitée de la division d'A.P. Hill de Harpers Ferry.