Jackson hadde innflytelse på både nasjonal og statlig politikk etter at han trakk seg tilbake til sitt hjem The Hermitage i Nashville i 1837. Selv om han eide slaver, var Jackson en bestemt forkjemper for den føderale unionen og nektet å gi støtte til snakk om å trekke seg ut av unionen.