2017年（平成29年）5月26日、鈴木知事らによるテープカットが行われて伊勢志摩サミット記念館が開館した。開館前には地元住民や観光客らが列をなして開館を待ち、午後2時の開館から午後5時の閉館までの3時間に約1,000人が入館した。最初の来館者は賢島を校区に含む志摩市立神明小学校の6年生45人であり、鈴木知事から直々に館内の案内を受けたほか、通常は座ることのできない日本以外の首脳の席にも座ることが許された。開館前の不安をよそに、6月16日に洞爺湖サミット記念館の初年度入館者数22,279人を突破した。洞爺湖サミット記念館のアクセスが不便で入館が有料であったために集客に苦戦したことを踏まえて、賢島駅構内かつ入館無料にして来館者を増やそうと画策した三重県の目論見が当たったと言える。開館からわずか22日間で「洞爺湖超え」という目標を達成し、7月23日には5万人を突破、10月2日には10万人を突破した。この間、企画展示スペースでは志摩市の祭りや四日市市のコンビナートが紹介され、10月より鳥羽市の展示に切り替わり、鳥羽市で開かれたサミットの配偶者プログラムの様子が写真などで披露された。11月22日、車椅子のまま利用可能な階段昇降機が設置された
伊勢志摩サミットの開催は2013年（平成25年）の第62回神宮式年遷宮以降、下降気味であった志摩市の観光客来訪動向を上向かせたものの、集客増にならなかった観光施設もあり、会場となった賢島でも2016年（平成28年）11月には例年並みまで観光客数が落ち着き始めており、地元ではサミット記念館の開館が待ち望まれた。一方で、洞爺湖サミット記念館が開館初年こそ2万人を集めたものの、2年目には約8,600人、4年目には4,200人と減少を続ける中で廃止検討もなされるような状況であることに関連して、伊勢志摩サミット記念館が「お荷物施設」になるのではないかという市民の不安の声も上がり、中日新聞は開館が「遅きに失した感は否めない」と批判した。2017年（平成29年）2月上旬より賢島駅の2階で伊勢志摩サミット三重県民会議が1億円を拠出した改修工事が始まり、3月23日に報道陣向けに工事中の記念館が公開された。この時点では天井を塗装する工事を行っており、展示物などは一切ない状態であった。4月より展示物の搬入作業が始まり、4月26日には愛称が「サミエール」に決定したこと、開館がサミットからちょうど1年となる2017年（平成29年）5月26日になることを鈴木知事が発表した。そして5月22日に内覧会が開かれた。同日の東京・総理大臣官邸では、安倍晋三内閣総理大臣が記念館向けのビデオメッセージの収録に臨んでいた。
マディソンは1817年に大統領を辞めると、バージニアにある自分ののタバコ・プランテーション、モントペリエに隠棲した。そこはジェファーソンのモンティチェロからそれほど離れていなかった。マディソンは64歳になっていた。妻のドリーは49歳であり、遂に二人でパリへ旅するチャンスが訪れたと考えた。ワシントンやジェファーソンと同様にマディソンは大統領になった時よりも辞めたときの方が貧乏になっていた。これはそのプランテーションが少しずつ財政的破綻に向かっていたためだった。歴史家の中にはマディソンの累積する負債がその憲法制定会議でのノート、すなわち彼が所有する公式記録を生きている間に出版することを拒んだ主要理由の一つと推量する者がいる。「かれはそのノートの価値を知っており、そのプランテーションが失敗したときにドリーが使えるよう、その資産に金をもたらしてくれることを望んだ。すなわち彼はそのノートが宝石である文書の販売で数十万ドルを期待していた。」マディソンの財政的トラブルと精神と肉体の健康の悪化が彼を消耗させ続けることになった。後年、マディソンはその遺産について極度に関心を抱くようになった。所有している手紙などの文書の修正に乗り出し、日付を変え、言葉や文を付加、削除し、その性格を変えた。70歳後半に達する時までに、この「加工」は執念に変わった。このことはジェファーソンに宛てたラファイエットを批判する手紙を編集したことで見ることができる。マディソンは元々の文章を消しただけでなく、ジェファーソンの筆跡を真似することまでやった。マディソンの心の中では、このことが自身を明らかにすることを意味し、歴史と彼自身に対してその行動を正当化することだった可能性がある。彼の生涯の最後の6年間、彼を飲み込む怖れのあった個人の金銭的トラブルの中で...時には心理的動揺が肉体的破壊を促した。1831年と1832年の大部分は沈黙しないまでも寝たきりになった...文字通り心労で病気になり、その仲間の市民たちに自分を理解させられないことを気に病み始めた。ジェファーソンの死後の1826年、マディソンはジェファーソンの後を継いでバージニア大学の第2牧師（学長）になった。これが最後の役職になった。マディソンの死ぬ1836年まで10年間、学長の地位に留まった。1829年、78歳のとき、マディソンはバージニア州憲法を改訂するためのリッチモンド憲法会議で代議員に選ばれた。これはマディソンの立法者としておよび憲法起草者として最後の登場場面だった。この会議で最重要な問題は議員の議席配分だった。州憲法では議席配分を人口で選挙区に割り振っているが、選挙権の無い奴隷を含めた人口で計算しているために、州西部の地域は割り振りが足りないという不平を持っていた。州西部の者はほとんど奴隷を所有しておらず、東部の農園主は多くの奴隷を持っていたために東部の白人は西部の白人よりも票の重みが大きかった。マディソンはその全盛期に「偉大な立法者」として知られており、アメリカ合衆国憲法で使われているような奴隷人口の4分の3を勘定に入れるという妥協案を持ち出そうとしたが、うまく行かなかった。最終的に東部の農園主が勝った。奴隷人口はその主人の地区人口に参入され続けることになった。マディソンはバージニア人がもっと公平にこの問題を解決できなかったことに心を砕かれた。「1829年の会議は、絶望とまでは行かなくとも、マディソンを自己欺瞞の崖っぷちまで着実に追い込んだ。奴隷制の難問が彼を苛んだ。」彼の健康状態はこのとき相当に悪化していたが、連邦議会や軍隊に牧師を指名することに反対する随筆など政治的課題に関する幾つかのメモを作成することができた。この課題は宗教を排除できたが政治的な調和を生まなかったからだった。マディソンは1836年まで生き、次第にアメリカの政治機構の新しい指導者達から無視されるようになっていた。この年の6月28日、建国の父の最後の生き残りとしてモントピリアで死んだ。モントピリアにあるマディソン家墓地に埋葬されている。マディソンの使用人を長年務めたポール・ジェニングスは「ろうそくの火が消えるように静かに呼吸を停止した」と死の状況を説明した。また、ドリー夫人は最愛の夫の死が「取り返しの付かない損失」であったとして親しい友人に苦しみを打ち明けている。