Stuart møtte samme år Flora Cooke, datteren til kommandanten for 2nd U.S. Dragoon Regiment, oberstløytnant Philip St. George Cooke. Burke Davis beskrev Flora som «en dyktig rytter, og selv om hun ikke var pen, virkelig sjarmerende,» som «Stuart gav etter for, knapt uten kamp.» De ble forlovet i september, mindre enn to måneder etter at de møttes. Stuart skrev humoristisk om sin raske kurtisering på latin, «» (Jeg kom, jeg så, jeg var erobret). Et gallabryllup var planlagt i Fort Riley i Kansas, men dødsfallet til Stuarts far den 20. september førte til endring i planene og bryllupet den 14. november var lite og kun bevitnet av familie. Stuarts første barn, en datter, døde i fødselen i 1857. Paret eide to slaver frem til 1859, en arvet fra sin fars eiendom, den andre var kjøpt.