Robert E. Lee ble utnevnt til tilsynshavende på akademiet i 1852, og Stuart ble venn med Lee-familien og møtte dem sosialt ved flere anledninger. Lees nevø, William Henry Fitzhugh Lee, ankom også akademiet i 1852. I Stuarts siste år, i tillegg til å oppnå kadettgraden som andre kaptein i korpset, var han en av åtte kadetter som fikk ærestittelen «kavalerioffiser» for sine evner med hester. Stuart ble uteksaminert som nr. 13 av 46 i 1854. Han ble rangert som nr. 10 i kavaleritaktikk. Han likte undervisningen i byggeteknikk ved akademiet og gjorde det godt i matematikk. Hans begrensete evner innen tegning reduserte hans muligheter innen byggeteknikk, og han endte som nr. 29 i den disiplinen. Der er en tradisjon i Stuart-familien som sier at han med vilje begrenset sine akademiske prestasjoner det siste året for å unngå å tjenestegjøre blant de beste i Corps of Engineers som han anså som kjedelig.