ジェームズ・マディソン
最終的に東部の農園主が勝った。奴隷人口はその主人の地区人口に参入され続けることになった。マディソンはバージニア人がもっと公平にこの問題を解決できなかったことに心を砕かれた。「1829年の会議は、絶望とまでは行かなくとも、マディソンを自己欺瞞の崖っぷちまで着実に追い込んだ。奴隷制の難問が彼を苛んだ。」彼の健康状態はこのとき相当に悪化していたが、連邦議会や軍隊に牧師を指名することに反対する随筆など政治的課題に関する幾つかのメモを作成することができた。この課題は宗教を排除できたが政治的な調和を生まなかったからだった。
マディソンは1836年まで生き、次第にアメリカの政治機構の新しい指導者達から無視されるようになっていた。この年の6月28日、建国の父の最後の生き残りとしてモントピリアで死んだ。モントピリアにあるマディソン家墓地に埋葬されている。マディソンの使用人を長年務めたポール・ジェニングス(英語版)は「ろうそくの火が消えるように静かに呼吸を停止した」と死の状況を説明した。また、ドリー夫人は最愛の夫の死が「取り返しの付かない損失」であったとして親しい友人に苦しみを打ち明けている 。
LIFE誌が1999年に選んだ「この1000年で最も重要な功績を残した世界の人物100人(うちアメリカ人と分類されたのは22人)」に選ばれている。
マディソンは1817年に大統領を辞めると、バージニアにある自分ののタバコ・プランテーション、モントペリエに隠棲した。そこはジェファーソンのモンティチェロからそれほど離れていなかった。マディソンは64歳になっていた。妻のドリーは49歳であり、遂に二人でパリへ旅するチャンスが訪れたと考えた。ワシントンやジェファーソンと同様にマディソンは大統領になった時よりも辞めたときの方が貧乏になっていた。これはそのプランテーションが少しずつ財政的破綻に向かっていたためだった。歴史家の中にはマディソンの累積する負債がその憲法制定会議でのノート、すなわち彼が所有する公式記録を生きている間に出版することを拒んだ主要理由の一つと推量する者がいる。「かれはそのノートの価値を知っており、そのプランテーションが失敗したときにドリーが使えるよう、その資産に金をもたらしてくれることを望んだ。すなわち彼はそのノートが宝石である文書の販売で数十万ドルを期待していた。」マディソンの財政的トラブルと精神と肉体の健康の悪化が彼を消耗させ続けることになった。
後年、マディソンはその遺産について極度に関心を抱くようになった。所有している手紙などの文書の修正に乗り出し、日付を変え、言葉や文を付加、削除し、その性格を変えた。70歳後半に達する時までに、この「加工」は執念に変わった。