ジェームズ・マディソン
ルイジアナ州 – 1812年4月30日
インディアナ州 – 1816年12月11日
マディソンの死後3年経って、当時ニューヨーク市北端の出発点だった場所にロッジが建てられ、近年亡くなった第4代大統領に因んでマディソン・コテージと名付けられた。マディソン・コテージのあった場所は市の歴史を通じて重要な交差点となり、その解体後に公園となってマディソン・スクエアと名付けられ、今日も残っている。マディソン・スクエアは続いてマディソン街やマディソン・スクエア・ガーデンの名前を生んだ。マディソン・スクエア・ガーデンは最初にできた場所の名前を採ったものである。マディソン・スクエア・ガーデンは著名な自転車レース会場であり、その競技場に因んで名付けられた自転車トラック競技に人気を呼んだ。マディソン競技は今日でもオリンピックの競技種目となっている。
マディソンは当初「権利の具体的条項は、憲法そのものが権利の条項なので不要なままである」と断固主張した。権利の具体的条項には3つの反対理由があった。
連邦政府が認められていない権限に対して守ると言われているので不要である。
幾つかの権利を列挙することは他の権利の欠如を示唆するように解釈されるかもしれないので危険である。
州のレベルで、権利章典は政府の権限に対して無用な紙の障壁になることが分かった。
しかし、反連邦党論者は権利章典を憲法批准の交換条件として要求した。
パトリック・ヘンリーはマディソンをアメリカ合衆国上院の初代議員の一人として選ばないようバージニア州議会を説得したが、マディソンは直接アメリカ合衆国下院議員に選出され、第1会期(1789年)から第4会期(1797年)までその重要な指導者になった。
大衆は新しい国中で200以上の提案を提出した。
マディソンは1794年9月15日に、現在のウェストバージニア州ジェファーソン郡で未亡人のドリー・ペイン・トッドと結婚した。マディソンは結婚後にドリーの連れ子ジョン・ペイン・トッドを養子にした。ドリーは、その両親のジョンとメアリー・コールズのペイン夫妻が短期間住んだノースカロライナ植民地のニューガーデンクェーカー開拓地で1768年5月20日に生まれていた。ドリーの姉妹ルーシー・ペインはワシントン大統領の甥であるジョージ・ステップトー・ワシントンと結婚していた。
マディソンは連邦議会議員として、当時国の首都だったフィラデルフィアの社交界でトッド未亡人と出会った可能性が強い。1794年5月、互いの友人であるアーロン・バーに紹介を頼むことで正式な付き合いを始めた。その出逢いからスムーズな交際に移行し、8月にはドリーがマディソンの求婚を受け入れた。ドリーは非クエーカー教徒であるマディソンと結婚することでクエーカー教からは追放された。
夫婦は幸せな結婚生活を送っていることが知られていた。ドリー夫人との結婚後は「まるで葬式に行く男のようだ」と言われていたマディソンも彼女と一緒に大いに社交を楽しむようになった。演説する際にはドリー夫人は演壇に向かうマディソンに付き添ってきて最前列に座り、耳を傾けてくれた。1808年大統領選挙でマディソンに敗れたチャールズ・コーツワース・ピンクニーは「マディソン夫妻に負けた。マディソンだけなら、勝てただろうに・・・」と嘆いたと言われている。マディソンは当初からこの妻を誇りにし、ドリー夫人も「愛しい小さな夫」に献身的であった。