Im Jahr 1858 heiratete Fillmore mit der wohlhabenden Witwe Caroline McIntosh zum zweiten Mal. Der ehemalige US-Präsident war Mitbegründer der 1862 eröffneten "Buffalo Historical Society" und deren erster amtierender Präsident. Bei der Präsidentschaftswahl 1860 unterstützte er die Kandidatur von John Bell, der für die Constitutional Union Party gemeinsam mit Fillmores früherem Außenminister Edward Everett als Vizepräsidentschaftskandidaten antrat. Bells Wahlplattform sprach sich, als das Land am Rande des Bürgerkriegs stand, für den Erhalt der Union aus; jedoch ohne zum heftigen politischen Konflikt um die Sklaverei Stellung zu beziehen. Während des Sezessionskrieges von 1861 bis 1865 stand Fillmore politisch gesehen auf Seiten der Unionsstaaten, jedoch war er in vielen Punkten nicht mit der Politik Präsident Abraham Lincolns einverstanden. Im April 1865 wurde nach der Ermordung Lincolns sein New Yorker Haus von einem aufgebrachten Mob, einigen Anhängern Lincolns, mit schwarzer Farbe beschmiert, da Fillmore den ermordeten Präsidenten zu dessen Lebzeiten kritisiert hatte. Auch das Haus seines Nachfolgers Franklin Pierce wurde beschmutzt. Während der "Reconstruction" Mitte und Ende der 1860er-Jahre unterstützte Fillmore die Politik des Präsidenten Andrew Johnson.