Cuando Madison terminó su mandato en 1817, se jubiló a [[Montpelier]], su hacienda de tabaco en el [[Condado de Orange (Virginia)]] cerca de la de [[Monticello (Virginia)|Monticello]], propiedad de Jefferson.