Au début de 1864, le corps, désormais dirigé par Gillmore, est transféré dans l'armée de la James. Il prend part aux opérations de Bermuda Hundred, et joue un rôle principal dans la désastreuse action de Drewry's Bluff. Il prend également part à l'attaque sur Cold Harbor en collaboration avec des unités de l'armée du Potomac, et le corps joue un rôle majeur lors des premiers stades de la campagne de Petersburg.