Stuart, der Sohn einer relativ wohlhabenden und politisch engagierten Familie aus dem Süden Virginias, besuchte die Militärakademie in West Point, New York, die er 1854 als Dreizehnter seines Jahrgangs abschloss. Seine Karriere im US-Heer führte ihn unmittelbar zur Kavallerie. Als Offizier der Mounted Riflemen und später im 1. US-Kavallerieregiment zeichnete er sich in Kämpfen gegen Indianer und während der Unruhen in Kansas "(Bleeding Kansas)" aus. 1860 diente er dem damaligen Oberstleutnant Robert E. Lee als freiwilliger Aide-de-camp, als dieser die Besetzung von Harpers Ferry durch John Brown beendete.