的麦迪逊卸任，回到弗吉尼亚奥林治县蒙彼利埃烟草种植园，离杰佛逊的蒙蒂塞洛不远。和华盛顿、杰佛逊类似，麦迪逊卸任总统后比之前穷了。由于烟草降价、继子管理不当，他的种植园财务慢慢垮掉。退休后，麦迪逊有时参与公共事务，作安德鲁·杰克逊和其他总统顾问。就密苏里妥协而言，他置身于外，但私下抱怨北方反对奴隶制扩张。1824年总统选举有四位主要候选人，麦迪逊与他们交情不错。不过，他和杰佛逊一样置身于法。在杰克逊任期时，麦迪逊公开反对废止危机，称任何州都无权分裂美国。麦迪逊帮助杰佛逊建立弗吉尼亚大学，但大学主要由杰