Как делегат Виргинии на торговой конференции в Аннаполисе в 1786 году, Мэдисон, вместе с другими сторонниками реформы конституции, содействовал созыву конституционного конвента в Филадельфии и был направлен туда как делегат от Виргинии. В неопубликованной рукописи «Пороки политической системы Соединённых Штатов» Мэдисон анализировал в 1787 году, ещё до созыва конвента, причины несостоятельности Статей конфедераций и одновременно указывал на шансы, предоставляемые принципом представительства государству с большой территорией и различными по интересам группировками — представление, возможно, сформированное чтением Дэвида Юма. На Конституционном конвенте (1787 год) Мэдисон предложил «Виргинский проект» (или «проект больших штатов»), который послужил основой для Конституции США. В нём он подготовил перечень предложений, касавшихся новой системы управления. Он настаивал на создании сильного национального правительства и предлагал предоставить конгрессу права вето в отношении законов принимаемых штатами.