Stuart ble uteksaminert fra West Point i 1854 og tjenestegjorde i Texas og Kansas med US Army. Han var veteran fra pionérkonfliktene med indianere og voldelighetene i Bleeding Kansas. Han deltok i arrestasjonen av John Brown ved Harpers Ferry. Han trakk seg fra US Army da hjemstaten Virginia rev seg løs fra Unionen og tjenestegjorde først under Stonewall Jackson i Shenandoah Valley Etter hvert fikk han stadig viktigere kommandoer i Army of Northern Virginia hvor han spilte en rolle i samtlige felttog hæren var involvert i frem til han døde. Han fikk rykte som fryktløs kavalerikommandant, og ved to anledninger (under Peninsula-felttoget og Maryland-felttoget) førte han sin avdeling helt rundt unionshæren Army of the Potomac, noe han ble berømt for og som ydmyket Nordstatene. I slaget ved Chancellorsville utmerket han seg som midlertidig kommandant for den sårede Stonewall Jacksons infanterikorps.