ノースカロライナ植民地
マディソンは1794年9月15日に、現在のウェストバージニア州ジェファーソン郡で未亡人のドリー・ペイン・トッドと結婚した。マディソンは結婚後にドリーの連れ子ジョン・ペイン・トッドを養子にした。ドリーは、その両親のジョンとメアリー・コールズのペイン夫妻が短期間住んだノースカロライナ植民地のニューガーデンクェーカー開拓地で1768年5月20日に生まれていた。ドリーの姉妹ルーシー・ペインはワシントン大統領の甥であるジョージ・ステップトー・ワシントンと結婚していた。