Longstreet var født i Edgefield District i Sør-Carolina. Han var det femte barnet og tredje sønnen til James og Mary Ann Dent Longstreet, opprinnelig fra henholdsvis New Jersey og Maryland. De eide en bomullsplantasje nær der landsbyen Gainesville senere ble grunnlagt i det nordøstre Georgia.