ジェームズ軍司令官としてのバトラーの唯一の成功は、1864年9月のチャフィン農園の戦いでの勝利であり、ハリソン砦も含めて、リッチモンドを防衛する南軍を打ち破った。12月、軍の組織変更が行われ、第10軍団と第18軍団は解散され、黒人兵士から構成される第25軍団と、白人兵士で構成される第24軍団に再編された。また、バージニア軍管区とノースカロライナ軍管区は再び分割された。これら部隊はフィッシャー砦遠征軍団（ort Fisher Expeditionary Corps）を編成してフィッシャー砦（）へ向かった。バトラーは軍管区司令官としての立場を利用して遠征軍団の指揮をとったが、第一次フィッシャー砦の戦い（）での敗北後、グラントはエドワード・オードをジェームズ軍司令官に任命した。