モントピリア (ジェームズ・マディソンの邸宅)
アンブローズ・マディソン(英語版)(1696頃-1732)は1721年にフランシス・テイラー(1700-1761)と結婚した。その2年後の1723年にバージニア王室領植民地のピードモント台地に義理の兄弟トマス・チューとともに4,675エーカー (1,892 ha)の土地の特許を取得した。
アンブローズはフランシス夫人と長男のジェームズ・マディソン・シニア(英語版)(1723-1801)を含む3人の子供を引き連れて1732年に「マウントプレザント」と名付けたこの地のタバコを栽培するプランテーションに移り住んだ。しかし、その直後から病気になり、同年8月27日に中毒死した。3人の奴隷(ポンペイ、ディド、ターク)が主人の死に関与したとして有罪判決を受け、このうち首謀者とされたポンペイは絞首刑による死刑を宣告された。他の2人はマディソン家の所有物としてフランシスの元に送り返された。
1720年代の残されている記録はアンブローズ・マディソンが所有していた土地の総称は「マウントプレゼント」と呼ばれていたことを示しているが、この名称は1720年代半ばには使用されなくなり、1750年代には単に「ホームハウス」と呼ばれていた。「モントピリア」の名称を使用した最古の記録は1781年のジェームズ・マディソンの手紙であり、この手紙の内容などから名称の由来が推測されている。彼は「巡礼の山」を意味するフランスの有名なリゾート地、モンペリエ(Montpelier)のフランス語の綴りを好んでいた。
1723年から1844年までマディソン家がモントピリアを所有していた期間に、多い場合には7世代目のアフリカ系アメリカ人の奴隷がこの地に生まれた。この頃には奴隷達の貢献と犠牲はマディソン一家がモントピリアで日常生活を送る上で必要不可欠なものになっていた。モントピリアの奴隷の多くがプランテーションのために働く現場労働者であった。この他に家事使用人(例:料理人、ウェイター、執事、メイド、庭師)や、技能訓練を受けた熟練労働者(例:大工、鍛冶屋)などで構成されていた。
モントピリアの最も著名な奴隷ポール・ジェニングス(英語版)(1799-1874)はわずか10歳の時に使用人として、ホワイトハウスに移動したジェームズ・マディソン大統領夫妻に同伴し、ジェームズ・マディソンが亡くなるまでの16年間は1日おきに彼のヒゲ剃りを担当した。ジェニングスは1847年に合衆国上院議員のダニエル・ウェブスターによって解放され、ワシントンD.C.に定住して財産所有者となった。