Stuart fikk sin skolegang hjemme av sin mor og privatlærere frem til han var 12 år. Da han forlot Laurel Hill og ble undervist av forskjellige lærere i Wytheville og hjemme hos hans tante Anne (Archibalds søster) og hennes mann, dommer James Ewell Brown, i Danville. Han begynte på Emory & Henry College da han var 15 og gikk der fra 1848 til 1850.