有时参与公共事务，作安德鲁·杰克逊和其他总统顾问。就密苏里妥协而言，他置身于外，但私下抱怨北方反对奴隶制扩张。1824年总统选举有四位主要候选人，麦迪逊与他们交情不错。不过，他和杰佛逊一样置身于法。在杰克逊任期时，麦迪逊公开反对废止危机，称任何州都无权分裂美国。麦迪逊帮助杰佛逊建立弗吉尼亚大学，但大学主要由杰佛逊牵头。1826年，在杰佛逊去世后，麦迪逊被任命为大学第二校长，任职十年，直至1836年去世。1829年，78岁的麦迪逊被选入弗吉尼亚制宪会议来修改州宪法。这是他最后一次以政治家身份露面。会议