સપ્ટેમ્બર 15, 1794 ના રોજ, મેડિસન વિધવા ડૉલી પેયન ટોડ સાથે લગ્ન કરી, વિધવા તેણી જેફરસન અને ઓફિસમાં મેડિસન સમય દરમિયાન સારી રીતે પસંદ કરેલી પરિચારિકા હતી.