Ce corps est créé le , à partir des vestiges des et XXIe corps, qui ont subi de lourdes pertes à Chickamauga. Il est d'abord commandé par Gordon Granger et ses commandants de division sont Philip Sheridan, Charles Cruft, et Thomas J. Wood. Il sert avec distinction dans la célèbre attaque non ordonnée sur Missionary Ridge à Chattanooga, et sert lors des campagnes de Knoxville et d'Atlanta. Lors de la campagne de Franklin-Nashville de John B. Hood, le général William T. Sherman laisse le IVe (et le XXIIIe corps), sous le commandement du général George H. Thomas, pour défendre le Tennessee, et le corps est fortement engagé lors des batailles de Spring Hill, de Franklin, et de Nashville. Lorsque la force que commande Thomas à Nashville est divisée, il reste au commandement du seul IVe corps et de la cavalerie sous le commandement de James H. Wilson et de George Stoneman. Le IVe corps reçoit l'ordre de bloquer les cols de montagne et d'empêcher une éventuelle retraite de l'armée de Lee dans les montagnes.