Longstreet nació en el distrito de Edgefield en Carolina del Sur, pero creció en Augusta, Georgia hasta la edad de 12 años cuando su padre falleció trasladándose su familia hacia Alabama.