După asasinarea lui Lincoln, în aprilie 1865, cerneală neagră a fost aruncată pe casa lui Fillmore, deoarece nu era drapată în doliu ca celelalte, deși aparent nu se afla în oraș la acea vreme și odată întors a pus draperii negre la ferestre. Deși și-a păstrat poziția de cetățean conducător al Buffalo și a fost printre cei selectați să escorteze corpul lui Lincoln când trenul funerar a trecut prin Buffalo, încă mai era destulă furie împotriva lui pentru pozițiile sale luate în timpul războiului. Fillmore a susținut politicile de reconstrucție ale președintelui Andrew Johnson, simțind că națiunea trebuia să se împace cât mai repede posibil. Cea mai mare parte a timpului era dedicată activităților sale civice. El a ajutat-o Buffalo să devină al treilea oraș american, după Boston și Philadelphia, să aibă o galerie de artă permanentă Academia de Arte Frumoase din Buffalo.