Im Juni 1861 wurde Elzey zum Oberst befördert und zum Kommandeur des 1. Maryland Infanterie-Regiments ernannt. Er unterstand General Edmund Kirby Smith und kämpfte mit seinem Regiment in der ersten Schlacht von Manassas. Nach dem Ausfall Kirbys führte er die Brigade während eines erfolgreichen Angriffs. Noch auf dem Schlachtfeld beförderte ihn Präsident Davis ihn zum Brigadegeneral. Während des Shenandoah-Feldzug 1862 führte Elzey eine Brigade in der Division Generalmajor Ewells. In der Schlacht bei Cross Keys wurde er verwundet.