レッド川方面作戦
ストーンは5月まで任務が無かった後に、メキシコ湾方面軍任務を命じられ、ポートハドソンの包囲戦では降伏勧告員となり、レッド川方面作戦ではナサニエル・バンクス少将の参謀長を務めた。しかし、1864年4月4日、スタントンがストーンに准将としての志願兵任務の解除を命じ、正規軍の中の大佐の位に戻した。ピーターズバーグ包囲戦では短期間ポトマック軍の旅団長を務めたが、最後は戦争が終わる前の1864年9月13日に陸軍から除隊した。