Etter at Louise døde, og etter at han hadde måttet tåle kritikken mot sine krigshandlinger fra andre konfødererte i flere tiår, slo Longstreet tilbake mot de fleste av deres argumenter i sine memoarer, , et verk han brukte fem år på før det ble utgitt i 1896. Hans siste år var preget av dårlig helse, og han var halvveis døv. I 1902 ble han rammet av alvorlig revmatisme og klarte ikke å være på beina i mer enn noen få minutter om gangen. Vekten hans sank fra 90 kg til 61 kg innen januar 1903. Han utviklet kreft i sitt høyre øye, og i desember gjennomgikk han røntgenterapi for å behandle den. Han fikk lungebetennelse og døde i Gainesville hvor han er gravlagt i Alta Vista Cemetery. Han levde lenger enn de fleste av sine kritikere, og var den en av få generaler fra borgerkrigen som levde inn i det 20. århundre.