James' far bestemte seg for at en militærkarriere var det beste for sønnen, men følte at den lokale utdanningen ikke var tilstrekkelig forberedelse. Ni år gammel ble James sendt for å bo sammen med sin tante og onkel i Augusta. Onkelen hans, Augustus Baldwin Longstreet, var avisredaktør, lærer og metodistprest. James tilbrakte åtte år på sin onkels plantasje, Westover, rett utenfor byen, mens han gikk på Richmond County Academy. Faren hans døde i en koleraepidemi mens han besøkte Augusta i 1833. Mor til James og resten av familien flyttet til Somerville etter hans død, men James ble værende hos sin onkel.