Etter at han forlot embedet, trakk Madison tilbake til Montpelier, gården hans i Virginia. Han var for en tid rektor ved Jeffersons University of Virginia, men tilbrakte mesteparten av dagene sine med å drive gården. Han døde 28. juni 1836 av revmatisme og hjertestans.