Tragedie rammet Longstreet-familien i januar 1862. En skarlagensfeber-epidemi i Richmond tok livet av hans ett år gamle datter Mary Anne, fire år gamle sønn James og seks år gamle Augustus («Gus»), alle i løpet av en uke. Hans 13 år gamle sønn Garland var også døden nær. Tapene var knusende for Longstreet, og han ble tilbaketrukket, både personlig og sosialt. I 1861 var hans hovedkvarter kjent for fester, drikking og pokerspill. Etter at han kom tilbake fra begravelsen, ble hovedkvarterets sosiale liv langt roligere, han drakk sjelden, og han ble en hengiven anglikaner.