ロングストリートが1864年10月19日に治療から戻ってくると、アンダーソンは元の少将の位に戻されたが、新しく作られた第4軍団を率いて、ピーターズバーグ包囲戦から1865年のアポマトックス・コートハウスへの撤退まで戦った。北軍騎兵隊による数回の攻撃でその軍団は弱っていったために、アンダーソンの動きは鈍くなり、何度も停止して攻撃を跳ね除けなければならなかった。このことで西に移動するリー軍の残りとは孤立するようになり、このとき軍全体の後衛になっていた。第4軍団は遂に停止して4月6日のセイラーズクリークの戦いに入り、壊走で終わった。リーはこの光景を目撃し、「軍隊は分解してしまったのか？」と叫んだ。軍団の生き残りが再結集し、4月8日に第3軍団の残りが第2軍団に吸収された軍隊に合流した。このことでアンダーソンには指揮する部隊が無くなり、サウスカロライナ州の故郷に帰った。アンダーソンは1865年9月27日に恩赦を受けた。ただし仮釈放の記録は無い。