Al igual que Washington y Jefferson, Madison se retiró de la presidencia económicamente más pobre que cuando empezó debido al precio bajo del tabaco y el gradual colapso financiero de su hacienda, debido al mal manejo administrativo que le dio su hijastro.