جیمز مدیسون
سنین جوانی و تحصیل

جیمز مدیسون جونیور در ۱۶ مارس ۱۷۵۱ (۵ مارس ۱۷۵۰، به سبک قدیمی)، در مزارع بلگروو نزدیک پورت کانوی در مستعمره ویرجینیا، در خانوادهٔ جیمز مدیسون پدر و النور مدیسون به دنیا آمد. خانوادهٔ او از اواسط قرن هفدهم در ویرجینیا زندگی می‌کردند. پدربزرگ مادری مدیسون، فرانسیس کانوی، یک کشاورز برجسته و تاجر تنباکو بود. پدرش یک کشاورز توتون و تنباکو بود که در مزرعه‌ای بزرگ شد که در آن زمان مون‌پلیه نام داشت و پس از رسیدن به سن بلوغ به او به ارث رسید. پدر مدیسون با حدود ۱۰۰ برده و مزرعه‌ای به وسعت ۵۰۰۰ هکتار (۲۰۰۰ هکتار)، یکی از بزرگ‌ترین زمین‌داران در پیمونت ویرجینیا بود.
در اوایل دههٔ ۱۷۶۰، خانوادهٔ مدیسون به خانه‌ای تازه ساخته نقل مکان کردند که نام آن را مون‌پلیه گذاشتند. مدیسون به عنوان بزرگ‌ترین فرزند از دوازده فرزند، با هفت برادر و چهار خواهر بزرگ شد، اگرچه تنها شش نفر از آن‌ها تا بزرگسالی زندگی کردند. از میان سه برادر (فرانسیس، آمبروز و ویلیام) و سه خواهر (نلی، سارا و فرانسیس)، این آمبروز بود که در نهایت به مدیریت مون‌پلیه برای پدر و برادر بزرگترش تا زمان مرگش در سال ۱۷۹۳ کمک کرد. پرزیدنت زکری تیلور از نوادگان الدر ویلیام بروستر، رهبر زائران مستعمرهٔ پلیموث، مهاجر می‌فلاور و امضاکنندهٔ پیمان می‌فلاور بود. پسر عموی دوم تیلور از طریق آن خط، مدیسون بود.
مدیسون از سن ۱۱ تا ۱۶ سالگی زیر نظر دانلد رابرتسون، مربی اسکاتلندی که به عنوان معلم برای چندین خانوادهٔ برجسته در جنوب خدمت می‌کرد، تحصیل کرد. مدیسون ریاضیات، جغرافیا و زبان‌های مدرن و کلاسیک را آموخت و در زبان لاتین مهارت فوق‌العاده‌ای پیدا کرد. در سن ۱۶ سالگی، مدیسون به مون‌پلیه بازگشت، جایی که زیر نظر کشیش توماس مارتین تحصیل کرد تا برای کالج آماده شود. برخلاف اکثر ویرجینیایی‌های دوران خود که مقید به کالج بودند، مدیسون در کالج ویلیام اند مری شرکت نکرد، جایی که آب و هوای پست ویلیامزبرگ - که تصور می‌شد احتمال بیشتری برای ابتلا به بیماری‌های عفونی وجود دارد - ممکن است حساسیت‌های او را در مورد سلامتی خود تحت فشار قرار داده باشد. در عوض، در سال ۱۷۶۹، در کالج نیوجرسی (که بعداً به دانشگاه پرینستون تغییر نام داد) ثبت نام کرد.
تحصیلات دانشگاهی او شامل لاتین، یونانی، الهیات و آثار روشنگری بود. مدیسون یکی از اعضای برجستهٔ انجمن ویگ-کلیوسوفیک آمریکا بود که در محوطهٔ دانشگاه با همتای سیاسی خود، انجمن کلیوسوفیک رقابت می‌کرد. در طول دوران او در پرینستون، نزدیکترین دوست مدیسون، دادستان کل آینده ویلیام بردفورد بود. مدیسون همراه با همکلاسی خود، آرون بر، یک برنامهٔ آموزشی شدید را انجام داد و مدرک سه سالهٔ لیسانس هنرهای کالج را در دو سال به پایان رساند و در سال ۱۷۷۱ فارغ‌التحصیل شد. مدیسون به این فکر کرده بود که پس از فارغ‌التحصیلی یا وارد جامعهٔ روحانیت شود یا به وکالت بپردازد، اما در عوض در پرینستون ماند تا تحت نظر رئیس کالج، جان ویترسپون، به مطالعهٔ عبری و فلسفهٔ سیاسی بپردازد. او در اوایل ۱۷۷۲ به خانهٔ مون‌پلیه بازگشت.
ایده‌های مدیسون در مورد فلسفه و اخلاق به شدت توسط ویترسپون شکل گرفت که او را به فلسفه، ارزش‌ها و شیوه‌های تفکر عصر روشنگری تبدیل کرد. زندگی‌نامه‌نویس ترنس بال نوشت است که «در پرینستون، مدیسون در لیبرالیسم روشنگری غوطه‌ور شد و به رادیکالیسم سیاسی قرن هجدهم گروید». از آن زمان به بعد نظریه‌های جیمز مدیسون حقوق سعادت انسان را ارتقا می‌بخشد و فعال‌ترین تلاش‌های او در خدمت است.
مدیسون پس از بازگشت به مون‌پلیه، بدون شغل انتخابی، به عنوان معلم برای خواهر و برادر کوچکترش خدمت کرد. او در سال ۱۷۷۳ شروع به مطالعهٔ کتاب‌های حقوقی کرد و از دوستش بردفورد که شاگرد حقوق بود، خواست تا برنامه‌ای مکتوب برای مطالعه برای او بفرستد. مدیسون در سال ۱۷۸۳ به شناختی از نشریات حقوقی دست یافته بود. او خود را دانشجوی حقوق می‌دانست اما نه یک وکیل. مدیسون خود نزد یک وکیل شاگردی نکرد و هرگز به وکالت نپیوست. پس از جنگ انقلابی، او مدتی را در مون‌پلیه در ویرجینیا صرف مطالعهٔ دموکراسی‌های باستانی جهان در آماده‌سازی برای کنوانسیون قانون اساسی کرد. مدیسون از دوره‌هایی از فرسودگی ذهنی و بیماری همراه با عصبی بودن رنج می‌برد که اغلب باعث ناتوانی موقتی کوتاه‌مدت پس از دوره‌های استرس می‌شد. با این حال، او تا سال‌های پایانی از سلامت جسمانی برخوردار بود.