Madison rimase deputato al congresso fino al 1783, per poi essere eletto l'anno successivo alla Camera dei delegati della Virginia, dove si batté su questioni religiose: fautore della completa libertà di culto, si oppose infatti alla concessione di privilegi alla Chiesa episcopale e nel 1785 riuscì a far approvare il piano di Jefferson che instaurava la completa libertà di culto nello Stato. Nel 1786 fu tra i promotori della Convenzione di Annapolis, riunitasi per decidere i rapporti commerciali tra i singoli Stati e stabilire le rotte commerciali fluviali. Da questa riunione si svilupparono gli eventi che portarono alla convocazione della Convenzione di Filadelfia.