En 1780, il apporte son soutien à la création d’une Commission constitutionnelle. Il est très actif durant la Convention de Philadelphie dont il est le rapporteur et certains historiens voient en lui le « père de la Constitution ». Madison défend les intérêts des États fédérés bien qu'il soit l’artisan d'un système d’équilibre entre les pouvoirs. Il insiste sur la représentation proportionnelle à la population des États au sein du Congrès. Ses notes sur la Convention sont les meilleurs témoignages sur les idées des rédacteurs. Il participe à la rédaction des "", série d'articles en faveur de la ratification.