西部戦線での第4軍団は、1863年10月10日にチカマウガの戦いで大損害を受けた第20軍団と第21軍団の残存部隊を再編して結成された。初代軍団長はゴードン・ガードナー（ ）であり、師団長はフィリップ・シェリダン、ジョン・パルマー（）及びトーマス・ウッド（）であった。第4軍団は1864年11月23日-25日の第三次チャタヌーガの戦いで殊勲を上げ、同年夏のアトランタ方面作戦にも参加した。秋に南軍のジョン・ベル・フッドのテネシー軍がフランクリン・ナッシュビル方面作戦を開始すると、北軍のウィリアム・シャーマンはテネシー防衛のため第4軍団及び第23軍団（オハイオ軍、後にカンバーランド軍）をジョージ・ヘンリー・トーマスの指揮下に残し、自身はジョージア州焦土進撃作戦である海への進軍を開始した。第4軍団はスプリングヒル、フランクリン、ナッシュビルでフッドと戦った。ナッシュビルではトーマスのオハイオ軍は分断されてしまったため、トーマスは第4軍団及びジェームズ・ウィルソン（）とジョージ・ストーンマンの騎兵部隊のみを指揮した。トーマスの巧みな指揮により北軍は大勝利を収め、フッドのテネシー軍は壊滅した。ピーターズバーグで包囲されていたロバート・E・リーが山岳方面へ撤退する可能性があったため、それを阻止するために第4軍団は山岳方面への道を遮断するよう命令された。