Na época em que Armstrong concluiu a faculdade, os Estados Unidos estavam envolvidos na Guerra Civil Americana. Após se formar, Armstrong se ofereceu para servir no Exército da União, e foi designado para integrar uma companhia perto de Troy, Nova York. Foi nomeado capitão no 125º Regimento de infantaria de Nova York, um regimento formado há três anos, pertencente à brigada de George Lamb Willard. Armstrong estava entre os doze mil homens capturados em setembro de 1862 por ocasião da rendição da guarnição na Batalha de Harpers Ferry. Depois de ter sido colocado em liberdade condicional, voltou para a linha de frente na Virgínia em dezembro. Como soldado da 3ª Divisão do II Corpo de exército sob o comando de Alexander Hays, Armstrong lutou na Batalha de Gettysburg em julho de 1863, defendendo a área conhecida como Cemetery Ridge contra a Pickett’s Charge.