25 maja 1787 odbyła się w Filadelfii Konwencja Konstytucyjna, w której wziął udział Madison. Podczas prac nad projektem konstytucji silne argumentował na rzecz silnego rządu federalnego i monteskiuszowskiego trójpodziału władzy, gdyż uważał że ludzie pełniący funkcje publiczne mogą łatwo nadużywać władzy. Wraz z Alexandrem Hamiltonem był jednym z najaktywniejszych delegatów – wypowiadał się na 71, spośród 86 posiedzień. Z tego też powodu, a także z powodu jego umiejętności mediacyjnych i skłonności do kompromisów, często nazywa się go „Ojcem Konstytucji Amerykańskiej”.