1794年9月15日，43岁的麦迪逊首次结婚，在哈伍德，现杰斐逊县迎娶26岁寡妇多莉·佩尼·托德。麦迪逊在国会任职时遇见她。1794年5月，麦迪逊要好友阿龙·伯尔做媒。8月，多莉接受。由于麦迪逊不是贵格会员，她被赶出贵格会。1794年，麦迪逊入选美国文理科学院。麦迪逊没有孩子，在婚后领养托德的儿子约翰·佩尼·托德。在丈夫任国务卿时，多莉·麦迪逊将自己的社交才能用于华盛顿。当白宫在建时，她协助装修，并为丧偶的总统托马斯·杰佛逊充当第一夫人。当丈夫做总统时，她设立第一夫人榜样，用自己的社交才能助推项目。因