マディソンは1817年に大統領を辞めると、バージニアにある自分ののタバコ・プランテーション、モントペリエに隠棲した。
1817年，65岁的麦迪逊卸任，回到弗吉尼亚奥林治县蒙彼利埃烟草种植园，离杰佛逊的蒙蒂塞洛不远。