ドリー・マディソン
1768年5月20日にイギリス領北米植民地のノースカロライナ植民地ギルフォード郡にてクエーカー教徒のジョン・ペイン(1736-1792)とメアリー・コールズ・ペイン(1745-1807)の長女(3人の兄・1人の弟・3人の妹)として生まれた。父のジョンは元来はクエーカー教徒では無かったが、クエーカー教徒のメアリーと結婚して改宗した。奴隷制を否定するその教えにもとづき、所有していた奴隷を全員解放した。
1769年に両親が以前に住んでいたバージニア王室領植民地に戻り、少女時代の多くをこの地で過ごした。
1783年にクエーカー教徒の町であるフィラデルフィアに移った。ジョンはこの地で始めた洗濯仕上げ用の糊を製造する事業に失敗してクエーカーから追放されてしまった。
二人の結婚を盛んに勧めたのは遠縁の従姉にあたるマーサ・ワシントンだった。彼女の夫のワシントン大統領も女同士が話し込んでいるところに顔を出して「彼は将来、おそらく大統領になるとても有望な男だ」と言い切った。迷うドリーにマーサ夫人も「彼はきっと良い夫になりますよ。歳がうんと離れてるからかえって良いのです」と言い、この大統領夫妻のアドバイスがドリーを結婚に踏み切らせたのだった。
クエーカーの教会から教徒以外の男と再婚したという理由で破門されてしまい、これを機にドリーは変わった。それまではつましい生活をしていたのに、華やかな衣装を着て、豪華なパーティーを開くようになった。これが歴代大統領の中で最も小柄(身長162.5cm、体重45.36kg)でドリーよりも背が低く、地味でまるで葬式に出かけるようだと悪口を言われた夫のマディソンにも好影響を与えた。彼もダンスをするようになり、座談上手にもなった。ドリーは夫を「偉大な小マディソン」と呼んだ。