说他收回极端言论。 杰佛逊于1800年再度竞选总统，麦迪逊再次任大选主管。选举结果不相上下，最终众议院给出决定，杰佛逊勉强胜出。
婚姻与家庭.1794年9月15日，43岁的麦迪逊首次结婚，在哈伍德，现杰斐逊县迎娶26岁寡妇多莉·佩尼·托德。麦迪逊在国会任职时遇见她。1794年5月，麦迪逊要好友阿龙·伯尔做媒。8月，多莉接受。由于麦迪逊不是贵格会员，她被赶出贵格会。1794年，麦迪逊入选美国文理科学院。麦迪逊没有孩子，在婚后领养托德的儿子约翰·佩尼·托德。在丈夫任国务卿时，多莉·