Als der britisch-amerikanische Krieg ausbrach, wurde Armstrong zum Militärdienst gerufen. Er wurde als Brigadegeneral bevollmächtigt und ihm oblag die Verteidigung des Hafens von New York. Dann ernannte ihn 1813 Präsident James Madison zum Kriegsminister. Das während seiner Amtszeit errichtete Fort Armstrong in Illinois wurde nach ihm benannt. Armstrong nahm eine Reihe wertvoller Änderungen in den Streitkräften vor, jedoch wurde er im September 1814 zum Rücktritt gezwungen, nachdem er beschuldigt worden war, den Brand von Washington im August nicht wirkungsvoll unter Kontrolle gebracht zu haben.