حزب لا أدري
مع انهيار حزب اليمين بعد رئاسة فيلمور، انضم الكثير من أعضاء جناح فيلمور المحافظ إلى حزب لا أدري، مشكلين الحزب الأمريكي. في ترشحه لهذا الحزب في عام 1856، لم يكن لدى فيلمور الكثير لقوله بشأن الهجرة، مركزًا بدلًا من ذلك على الحفاظ على الاتحاد، وفاز بولاية ماريلاند. كان فيلمور نشطًا في العديد من المساعي المدنية، إذ ساعد في تأسيس جامعة بوفالو وشغل منصب أول مستشار لها. في أثناء الحرب الأهلية الأمريكية، أدان فيلمور الانفصال، ووافق على ضرورة الحفاظ على الاتحاد بالقوة إذا لزم الأمر، ولكنه انتقد سياسات الحرب التي انتهجها أبراهام لينكون. بعد استعادة السلام، أيد سياسات إعادة الإعمار التي انتهجها الرئيس أندرو جونسون. رغم غموضه إلى حد كبير اليوم، إلا أن البعض امتدح فيلمور لسياسته الخارجية، وانتقده آخرون بسبب إنفاذه قانون الرقيق الهارب وارتباطه بحزب لاأدري.