Madison var 163 cm høy og veide 45 kg. Han var nasjonens korteste president og jevnlig syk. I 1794 giftet han seg med Dolley Payne Todd som gikk for å være like attraktiv og livlig som han var syk og asosial. Det var Dolley som er sterkest kreditert for rollen som førstedamen som en politisk alliert av presidenten.