Le seul succès majeur de Butler, en tant que commandant de cette armée, fut en septembre 1864 la saisie d'une part importante des constructions défensives de Richmond, dont le Fort Harrison lors de la bataille de Chaffin's Farm. En décembre l'armée fut réorganisée et les et " corps" cessèrent d'exister. Toutes les troupes afro-américaines formèrent le "corps" et les autres le "corps" puis les départements de Virginie et de Caroline du Nord furent disjoints. Des unités des anciens "" et " corps" furent regroupée pour former le "Fort Fisher Expeditionary Corps" et embarquèrent pour fort Fisher. Butler se servit de sa position à la tête du département pour prendre le commandement de l'expédition, mais après son fiasco lors de la première bataille de Fort Fisher, Grant le releva de son commandement et plaça le major-général Edward Ord, héros de Chaffin's Farm, à la tête de l´"Army of the James".