לאחר שהשגריר הבריטי העליב את מדיסון, מדיסון סילק אותו ממחלקת המדינה. בנובמבר 1809, הוא נאם לראשונה את נאום מצב האומה, וביקש מהקונגרס עצה וחלופות למשבר הסחר האמריקני-בריטי, כשהוא מזהיר מפני מלחמה. באביב 1810, מדיסון ביקש מהקונגרס לתגבר את הצבא ואת הצי. הכלכלה האמריקנית כבר התחילה להתאושש בתקופתו של מדיסון כתוצאה מהשלום האירופאי. לקראת היבחרו מחדש, מלחמת חצי האי התחילה בספרד, ובאותו הזמן, נפוליאון פלש לרוסיה, כשאירופה שוב נכנסה למלחמה.