Er trat 1861 auf Seiten der Union als Major in die 15. Iowa Infanterie ein und kämpfte während des Sezessionskrieges in den Schlachten bei Shiloh, Corinth und Vicksburg. Belknap wurde zum Brigadegeneral der Unionsarmee befördert und erhielt das Kommando über die 4. Division. In dieser Funktion beteiligte er sich an den Operationen von General William T. Sherman in Georgia sowie North und South Carolinas. Er verließ 1865 im Rang eines Generalmajors das Militär.