O jovem Armstrong inicialmente se juntou a um regimento de milicianos da Pensilvânia e no ano seguinte foi indicado como ajudante de ordens do general Hugh Mercer do Exército Continental. Nesta função, levou o ferido e moribundo general Mercer para fora do campo de batalha de Princeton. Depois que o general morreu em 12 de janeiro de 1777, Armstrong se tornou ajudante do general Horatio Gates. Permaneceu com Gates, durante as Batalhas de Saratoga, e em seguida, deixou o Exército devido a problemas com sua saúde. Em 1782, Gates, pediu-lhe para voltar. Armstrong se juntou à equipe do general Gates como assessor, com a patente de major, que manteve até o final da guerra.