Après le début de la guerre de Sécession, Semmes est nommé colonel du 2nd Georgia Infantry. Il est promu au brigadier général le . Lors de la campagne de la Péninsule, il est commandant de brigade dans le corps du brigadier général John B. Magruder des défenses de Richmond. Envoyée précipitamment vers le nord au début de la campagne du Maryland, la brigade de Semmes rejoint l'armée de Virginie du Nord dans la division du major général Lafayette McLaws juste avant d'entrer dans le Maryland. Ses hommes participent à l'action de résistance à Crampton's Gap au cours de la bataille de South Mountain. À Sharpsburg, la brigade de Semmes est un élément clé de la forte contre-attaque du général McLaws qui ébranle le corps de l'Union. Au début de novembre, sa brigade est réorganisée de sorte qu'elle ne contient que des régiments de Géorgie. Tenue en réserve lors la bataille de Fredericksburg, la brigade reconstituée de Semmes se comporte bien à Chancellorsville, où elle contient la progression d'une division entière du corps, et à Salem Church.