Während der Präsidentschaft des Föderalisten John Adams führte Madison die Opposition gegen die "Alien and Sedition Acts" an, die die Exekutivmacht des Präsidenten gegenüber in Amerika lebenden Ausländern erweiterten und von den Demokratischen Republikanern als eine Verletzung der Bill of Rights angesehen wurden. Er entwarf eine die "Alien and Sedition Acts" als unrechtmäßig verurteilende Resolution für den Kongress von Virginia, die von diesem im Jahr 1798 verabschiedet wurde. Im Jahr darauf kehrte er in das Abgeordnetenhaus von Virginia zurück und organisierte für Jefferson den erfolgreichen Präsidentschaftswahlkampf von 1800. Danach war er im Kabinett Jefferson bis zum Jahr 1809 Außenminister der Vereinigten Staaten. Hier unterstützte er den Louisiana Purchase, den Amerikanisch-Tripolitanischen Krieg gegen die Barbaresken-Korsaren und das Handelsembargo gegen Frankreich und das Vereinigte Königreich, die während der Koalitionskriege zunehmend amerikanische Schiffe kaperten und deren Besatzungen zwangsrekrutierten. Obwohl Madison es vorzog, im Hintergrund zu bleiben, wird davon ausgegangen, dass er die Außenpolitik des Präsidenten wesentlich bestimmte.