Under den amerikanske borgerkrigen tjente Belknap som major i infanteriet og deltok i slag ved Shiloh, Corinth og Vicksburg. I 1864 hadde han steget i gradene til general og arbeidet i tett samarbeid ed general William Tecumseh Sherman.