Stuart var søskenbarn av Mary Todd Lincoln, og besøkte Det hvite hus jevnlig etter han ble valgt inn i Kongressen i 1862, selv om Stuart var en demokrat. Han tapte mot republikaneren Shelby Moore Cullom da han prøve å stille til gjenvalg i 1864, og jobbet deretter som advokat i Springfield igjen.