حزب لا أدري
بدأ حزب اليمين بالانحلال بعد رئاسة فيلمور، واتجه كثير من رفاقه المحافظين إلى الحزب الأمريكي (كما كان يعرف حزب لا أدري). ترشح فيلمور مجددا عام 1856، ولم يتكلم كثيرا حول مسألة الهجرة من الخارج، وبدلا من هذا ركز على المحافظة على الاتحاد، وفاز في ماريلاند فقط. تقاعد فيلمور من السياسة ونشط في العديد من المساعي المدنية في منطقة بوفالو، وساعد في تأسيس جامعة بافالو وكان أول مستشار عليها. وعندما قامت الحرب الأهلية الأمريكية، استنكر فيلمور الانفصال وشدد على وجوب المحافظة على الاتحاد بالقوة إذا لزم الأمر، ولكنه انتقد سياسات الحرب التي انتهجها أبراهام لينكون. وبعد أن حل السلام، دعم فيلمور سياسات إعادة الإعمار التي اتخذها الرئيس أندرو جونسون. يعتبر فيلمور منسيا اليوم، وإن تمت الإشادة لما قدمه بشأن السياسة الخارجية، ولكنه تعرض للانتقاد لتطبيقه قانون الرقيق الهارب ولارتباطه مع حزب لا أدري.