Az új elnök messze nem volt olyan karizmatikus és erélyes vezető, mint mentora és elődje. Már csak azért is, mert korábbi nézeteihez hűen úgy vélekedett, hogy a törvényhozó szervnek kell kormányozni az országot. Sokáig fontolgatott mindent és ezért kortársai határozatlannak és gyengének tartották. Felesége, Dolley Madison sokkal népszerűbb volt nála és ő tekinthető az első igazi First Ladynek, noha csak 1877-ben vetették papírra először ezt a kifejezést. Elődjéhez hasonlóan Madison is megpróbálta békés eszközökkel rábírni az egymással háborúzó franciákat és briteket az amerikai kereskedelem semlegességének tiszteletben tartására, hogy hagyjanak fel az amerikai hajók zaklatásával. A terv nem járt sikerrel, mert I. Napóleon francia császár cselén megbukott az elképzelés. Eközben északon fellázadtak az indiánok, míg délen a floridaiak fellázadtak a spanyolok ellen és kérték államuk annektálását. Madison úgy érezte, hogy mindent megtett a konfliktusok békés rendezésére, de semmit nem ért el. 1812-ben a kongresszus nyomására hadat üzentek Nagy-Britanniának, holott diplomáciai eszközökkel már sikerült elérni, hogy a brit parlament elfogadjon egy törvényt, amely szerint felhagynak az amerikaiak bojkottjával. A hír azonban késett, és kitört a brit–amerikai háború.