A principios de mayo, Gillmore y el X Corps fueron transferidos al ejército del James y enviados a Virginia. Participaron en las operaciones Bermuda Hundred y desempeñaron un papel principal en la desastrosa acción de Drewry's Bluff. Gillmore se enemistó abiertamente con su superior, Benjamin F. Butler, a causa de la derrota. Gillmore pidió la reasignación dirigiéndose a Washington, D.C.. En julio de 1864, Gillmore ayudó a organizar a los nuevos reclutas y a los inválidos en una fuerza de 20.000 hombres para ayudar a proteger la ciudad de la amenaza de 10.000 confederados bajo Jubal A. Early, que habían llegado a las defensas exteriores de la capital de la Unión. Los refuerzos federales de la costa del Golfo estaban siendo transferidos hacia el Este en ese momento y Gillmore fue puesto al mando de un destacamento del XIX Cuerpo que había sido rápidamente desviado a la defensa de la capital en la batalla de Fort Stevens.