Cuando comenzó la guerra, Armistead partió de California a Texas con los "Fusiles Montados de Los Ángeles", luego viajó hacia el este y recibió una comisión como comandante, pero fue ascendido rápidamente a coronel del 57º regimiento de infantería de Virginia. Sirvió en la parte occidental de Virginia, pero pronto regresó al este y al ejército de Virginia del Norte. Luchó como comandante de brigada en Seven Pines, y luego bajo el mando del General Robert E. Lee en las batallas de los Siete Días (donde fue elegido para encabezar el sangriento asalto a Malvern Hill), y en la segunda batalla de Bull Run. En Antietam, sirvió como jefe de policía de Lee, un trabajo frustrante debido a los altos niveles de deserción que asolaron al ejército en esa campaña. Luego estuvo al mando en la división del Mayor General George Pickett en Fredericksburg. Debido a que estuvo con el Primer Cuerpo del Teniente General James Longstreet cerca de Norfolk, Virginia, en la primavera de 1863, se perdió la batalla de Chancellorsville.