Longstreet ble kritisert for den trege fremrykningen hans mot Knoxville i november, og noen av hans styrker begynte å bruke kallenavnet Peter den Trege. Burnside unnslapp ham i slaget ved Campbell's Station og slo seg ned i skyttergraver rundt byen som Longstreet beleiret uten å lykkes. Slaget ved Fort Sanders førte ikke til et konføderert gjennombrudd. Da Bragg ble beseiret av Grant ved Chattanooga den 25. november, fikk Longstreet ordre om å slutte seg til Army of Tennessee i det nordlige Georgia. Han protesterte og begynte å bevege seg tilbake til Virginia, snart forfulgt av generalmajor William Tecumseh Sherman i begynnelsen av desember. Arméene la seg i vinterkvarter og det første korpset sluttet seg til Army of Northern Virginia om våren. Den enste reelle effekten av det mindre felttoget var å frarøve Bragg styrker han sårt trengte i Chattanooga. Longstreets andre uavhengige kommando (etter Suffolk) var mislykket og hans selvtillit var skadet. Han reagerte på det mislykkede felttoget ved å legge skylden på andre, slik han gjorde ved Seven Pines. Han avløste Lafayette McLaws fra kommandoen og ba om krigsrett for brigadegeneralene Jerome B. Robertson og Evander M. Law. Han sendte også et oppsigelsesbrev til generaladjutant Samuel Cooper den 30. desember 1863, men hans søknad om å bli avløst ble avslått.