Devido ao ferimento sofrido na Batalha de Wilderness, Longstreet ficou afastado do campo de batalha durante todas as campanhas na primavera e no verão. Ele havia sido hospitalizado em Lynchburg, Virgínia, e depois foi se recuperar em Augusta, na Geórgia, sendo cuidado por sua prima, Emma Eve Longstreet Sibley. Em outubro de 1864, ele se reuniu novamente com Lee, que não tinha se saído muito bem em sua ausência. No final, a Campanha Overland não foi bem sucedida em tomar a capital confederada, mas os federais conseguiram causar pesadas baixas no exército de Lee, ao mesmo tempo que drenaram os recursos disponíveis a ele. Assim, quando Longstreet voltou ao serviço ativo, era claro que a situação da guerra já pendia perigosamente contra a Confederação. Naquela altura, Longstreet tinha o braço direito temporariamente paralisado e não podia montar muito bem no cavalo. Enquanto o general Lee estava ocupado com o Cerco de Petersburg, Longstreet assumiu o comando das defesas na capital Richmond. Nesse meio tempo, ele fez mudanças na sua equipe, como a transferência do seu chefe de pessoal, Moxley Sorrel, sendo substituído pelo major Osmun Latrobe.