Em 28 de fevereiro de 1863, foi promovido a coronel do 5º Regimento de Cavalaria de Voluntários do Michigan. Seus comandados foram os primeiros a entrarem em Gettysburg, na Pensilvânia, em 28 de junho, e recebeu uma menção especial no relatório do general George Armstrong Custer sobre as operações de cavalaria naquele local. Alger foi considerado um estrategista militar e ficou com o presidente Lincoln no campo de batalha fiscalizando os suprimentos da União. Ao perseguir o inimigo em 8 de julho, foi gravemente ferido em Boonesborough, Maryland. Participou das Campanhas do Vale de 1864, sob o comando do general Sheridan, na Virgínia. Em 11 de junho de 1864, em Trevilian Station, Alger capturou uma grande força de confederados com um brilhante ataque de cavalaria. Alger deixou o exército em 20 de setembro de 1864. Em 13 de janeiro de 1866, o presidente Andrew Johnson nomeou Alger para receber a patente de brigadeiro-general dos voluntários a partir de 11 junho de 1865 e o Senado dos Estados Unidos confirmou o prêmio em 12 de março de 1866. Em 28 de fevereiro de 1867, o presidente Johnson nomeou Alger para receber a patente de general dos voluntários a partir de 11 de junho de 1865 e o Senado dos Estados Unidos confirmou a sentença em 2 de março de 1867.