Andrew foi receptivo à ideia de utilização de homens negros como soldados uniformizados no Exército da União. Em abril de 1862 começou a trabalhar estreitamente com o governo Federal e com Frederick Douglass. Escreveu cartas a diversos estados e a Lincoln na tentativa de obter apoio. Autorizou a formação de dois regimentos de infantaria negra, o 54º e o 55º de Massachusetts, formado por negros do estado, bem como de Ohio, Nova Iorque, Pensilvânia, e outros estados. Pouco depois da Batalha de Antietam, Andrew se tornou um dos executivos estaduais mais importantes na Leal Conferência dos Governadores da Guerra em Altoona, Pensilvânia, que em última análise apoiou a Proclamação de Emancipação de Lincoln e o esforço de guerra.