Stuart ble forfremmet til kaptein den 22. april 1861, men sa trakk seg fra US Army den 3. mai 1861 for å slutte seg til Konføderasjonens hær etter at Virginia løsrev seg. Oppsigelsesbrevet han sendte fra Cairo ble akseptert av krigsdepartementet den 14. mai. Da han hørte at svigerfaren, oberst Cooke, ville bli værende i den amerikanske hæren under den kommende krigen, skrev Stuart til sin svoger, den fremtidige konfødererte brigadegeneralen John Rogers Cooke at «han vil angre det en gang, og det vil være kontinuerlig.» 26. juni fødte Flora en sønn, Philip St. George Cooke Stuart, men faren hans endret navnet til James Ewell Brown Stuart jr («Jimmie») sent i 1861 i avsky for sin svigerfar.