À la suite de la sécession de plusieurs États du Sud et la formation des États confédérés d'Amérique, Elzey livre l' aux confédérés en et emmène ses hommes à Washington, D.C. au début d'. Il démissionne le et part pour Richmond, Virginie, où il rejoint l'armée confédérée avec le grade initial de colonel du nouvellement formé 1st Maryland Infantry, CSA. Il est affecté à la brigade du brigadier général Edmund Kirby Smith et combat lors de la première bataille de Manassas. Quand Smith est blessé pendant l'après-midi, Elzey, en tant que colonel le plus ancien, assure le commandement et mène une charge victorieuse, pour laquelle il reçoit les remerciements du général commandant P.G.T. Beauregard. Il est promu sur le champ de bataille au grade de brigadier général par Jefferson Davis.