Pe măsură ce Partidul Whig s-a împărțit după președinția lui Fillmore, mulți din aripa conservatoare a lui Fillmore s-au alăturat echipei Know Nothings, care a format Partidul American. În candidatura sa din 1856 ca și candidat al partidului, Fillmore a avut puține de spus despre imigrație, concentrându-se în schimb asupra conservării Uniunii și câștigând doar în Maryland. La pensionare, Fillmore a fost activ în multe acțiuni civice. El a ajutat la înființarea Universității din Buffalo, fiind primul său cancelar. În timpul războiului civil american, Fillmore a denunțat secesiunea și a fost de acord că Uniunea trebuie să fie menținută cu forța, dacă este necesar, dar a criticat politicile de război ale lui Abraham Lincoln. După restaurarea păcii, a susținut politicile de reconstrucție ale președintelui Andrew Johnson. Observată astăzi, Fillmore a fost lăudat de unii pentru politica sa externă, dar el este criticat de alții pentru punerea în aplicare a Legii Sclavului Fugit și pentru asocierea sa cu Know Nothings. Istoricii și cercetătorii l-au clasat în mod constant pe Fillmore ca fiind unul dintre cei mai slabi președinți.