Quando Longstreet retornou de sua convalescença em 19 de outubro de 1864, Anderson voltou ao posto de major-general, mas comandou o recém-criado Quarto Corpo de exército no Cerco de Petersburg e na retirada para Appomattox Court House em 1865. Devido aos diversos ataques da cavalaria federal realizados contra o seu corpo de exército, Anderson foi forçado a diminuir a marcha e até mesmo parar de vez em quando para repelir os ataques. Isso fez com que os confederados fossem ficando cada vez mais isolados do restante do exército de Lee que se movia para oeste, e acabou por se tornar a retaguarda do exército. O corpo de exército finalmente parou e lutou na Sayler's Creek em 6 de abril, que terminou em derrota, e ao testemunhá-la Lee exclamou "o Exército foi dissolvido?" Quando os sobreviventes do corpo de exército novamente foram reunidos, o que restou do Quarto Corpo foi fundido com o Segundo Corpo de exército em 8 de abril. Isto deixou Anderson sem um comando e retornou então para a Carolina do Sul. Anderson foi perdoado em 27 de setembro de 1865, embora não haja registro de sua liberdade condicional.