Kun Yhdysvallat julistautui itsenäiseksi vuonna 1776, siirtyi suurin osa maan päätösvallasta lähes itsenäisinä toimineille osavaltioille. Madisonin mielestä maa tarvitsi kuitenkin vahvaa yhtenäistä hallitusta, ja hän luonnostelikin Yhdysvaltain perustuslakia varten suunnitelman, joka esiteltiin vuonna 1787 Philadelphiassa kokoontuneessa perustuslaillisessa konventissa ja tunnetaan "Virginian suunnitelmana" (). Se toimi osaltaan konventissa laaditun perustuslain perustana. Tästä Madison sai lisänimen "Father of the Constitution" ().