通过法案，建立新政府。因起草前十条宪法修正案，麦迪逊也被誉为“权利法案之父”。虽然新宪法建立了强有力的联邦政府，但在华盛顿任期内，麦迪逊反对财务部长亚历山大·汉密尔顿主张的中央集权。为了反对汉密尔顿，托马斯·杰佛逊和麦迪逊成立了民主共和党，与汉密尔顿的联邦党抗衡，成为国家第一对主要政党。在杰佛逊1800年胜选后，麦迪逊被任命为国务卿（1801-1809年）。在任内，麦迪逊主持购买路易斯安那，将国土面积翻倍。麦迪逊在1808年胜选接任，并于1812年连任。因外交抗争和贸易禁运失败，美国与英国卷入1812年