マーサ・ワシントン
ドリーは結局、当時すでに42歳で「リトル・ジェミー」と呼ばれた小男、ジェームズ・マディソン下院議員からの求婚を受け入れ、1794年9月15日に二度目の結婚をした。マディソンは初婚で、未亡人と結婚した3人目（前の2人はジョージ・ワシントンとトマス・ジェファーソン）のアメリカ合衆国大統領経験者であるが、ドリーはマーサ・ワシントンとマーサ・ジェファーソンとは違い、財産らしきものはほとんど無かった。二人の結婚を盛んに勧めたのは遠縁の従姉にあたるマーサ・ワシントンだった。彼女の夫のワシントン大統領も女同士が話し込んでいるところに顔を出して「彼は将来、おそらく大統領になるとても有望な男だ」と言い切った。迷うドリーにマーサ夫人も「彼はきっと良い夫になりますよ。歳がうんと離れてるからかえって良いのです」と言い、この大統領夫妻のアドバイスがドリーを結婚に踏み切らせたのだった。