જેમ્સ મેડિસન વર્જિનિયામાં મોન્ટપેલિયર નામના પ્લાન્ટેશનમાં ઉછર્યા હતા.