Armstrong kämpfte am 21. Juli 1861 als Kompaniechef einer Kavalleriekompanie bei der Ersten Schlacht am Bull Run. Am 3. August des gleichen Jahres wurde er zum 2. US-Kavallerie-Regiment versetzt. Armstrong quittierte den Dienst im US-Heer am 10. August 1861 und trat in das konföderierte Heer ein. Da seine Entlassung erst am 13. August 1861 bearbeitet werden konnte, diente er de jure in beiden Heeren gleichzeitig. Armstrong wurde in den Stab der Division Generalmajor Benjamin McCullochs versetzt und nahm an der Schlacht von Pea Ridge teil.