Antes do término de seu mandato como senador, a Guerra Civil começou e em Outubro de 1861, foi convocado para o serviço voluntário dos Estados Unidos como tenente-coronel da 8ª Infantaria Voluntária do Kansas. No início de 1862, foi nomeado chefe da polícia militar de Leavenworth e ocupou o cargo até que seu regimento foi enviado a Corinth, Mississippi, em Março. Lá, a 8ª Infantaria do Kansas tornou-se parte do exército do Major-General Don Carlos Buell, e permaneceu no Exército de Cumberland até o final da guerra. No dia 1º de Novembro de 1862, Martin foi promovido a coronel e algumas semanas depois, foi nomeado para o posto de chefe da polícia militar de Nashville, Tennessee, cargo que ocupou até Junho do ano seguinte. Com seu comando, participou da Batalha de Perryville; as várias batalhas da Campanha de Tullahoma; a Batalha de Chickamauga, onde no segundo dia foi nomeado para o comando da Terceira Brigada, Primeira Divisão, XX Corps; e em Novembro esteve presente no cerco de Chattanooga e na Batalha de Missionary Ridge. Com o exército do Major-General William Tecumseh Sherman, marchou para Atlanta na memorável campanha de 1864, a linha de marcha sendo marcada por batalhas em Rocky Face Ridge, Dalton, Resaca, Kingston, Kennesaw Mountain e vários outros pontos. Após a queda de Atlanta, o regimento de Martin se juntou à perseguição ao Tenente-General John Bell Hood, enquanto marchava para o norte, para o Tennessee, onde acabou o serviço. Durante as cenas finais de sua carreira militar, Martin comandou a Primeira Brigada, Terceira Divisão, IV Corps, até ser convocado em Pulaski, Tennessee, no dia 17 de Novembro de 1864. Mais tarde, recebeu uma promoção para brigadeiro-general "por serviços corajosos e louváveis", datado do dia 13 de Março de 1865.