כשהמפלגה הוויגית התפרקה לאחר נשיאותו של פילמור, רוב חבריו השמרנים הצטרפו אל "המפלגה האמריקנית". הוא היה המועמד מטעם המפלגה ב-1856, אולם לא דיבר על נושאי הגירה אלא על שימור האיחוד, וניצח רק במרילנד. במהלך פרישתו, היה פעיל בשליחויות אזרחיות. הוא היה המנהל הראשון של אוניברסיטת באפלו. במהלך מלחמת האזרחים האמריקנית, התנגד לפרישת הדרום והסכים לשימור האיחוד בכוח, אולם ביקר את מדיניותו של אברהם לינקולן. לאחר המלחמה, תמך במדיניות השיקום של הנשיא אנדרו ג'ונסון. פילמור נחשב לנשיא אלמוני, קיבל שבחים על מדיניות החוץ שלו, אולם זכה לביקורת על אכיפת חוק העבד הנמלט ועל קשריו לתנועת "שאינם יודעים דבר".