જેમ્સ મેડિસન, જેમ્સ મેડિસન, સિનિયર, પ્લાન્ટેશનના માલિક અને એલેનોર રોઝ કોનવેના પુત્ર હતા, એક શ્રીમંત પ્લાન્ટરની પુત્રી.