Quando os Whigs se desintegraram como partido após a presidência de Fillmore, ele e muitos de seus colegas conservadores se juntaram aos "Know Nothings" e formaram o "Partido Americano". Durante sua campanha para a eleição presidencial de 1856, Fillmore mal falou sobre imigração, focando-se em seu desejo de preservar a União. Ele acabou fracassando, terminando em terceiro lugar no voto popular, ganhando apenas no estado de Maryland. Durante a Guerra Civil Americana, Fillmore condenou a secessão dos estados sulistas e concordou com a posição do Presidente Abraham Lincoln de que a União tinha que ser preservada, pela força das armas, se necessário, embora muitas vezes ele criticou as políticas de guerra de Lincoln. Após a paz ser restaurada, ele apoiou as políticas de Reconstrução do Presidente Andrew Johnson. Fillmore permaneceu envolvido com os interesses cívicos na aposentadoria, inclusive servindo como chanceler da Universidade de Buffalo, que ele ajudou a fundar em 1846. Para historiadores e acadêmicos, Millard Fillmore é avaliado como um presidente fraco.