לאחר רצח לינקולן באפריל 1865, הושלך דיו שחור אל ביתו של פילמור, כיוון שהבית לא היה עטוף בסרטים שחורים באותה התקופה. פילמור לא היה בביתו באותה התקופה ושם סרטים שחורים על החלונות לאחר שחזר. הוא המשיך להיות האזרח מספר אחת של באפלו, ונבחר ללוות את גופתו של לינקולן בבאפלו. למרות זאת, עדיין כעסו על עמדותיו במהלך המלחמה. הוא תמך במדיניות השיקום של הנשיא אנדרו ג'ונסון, בתחושה שיש לאחד את האיחוד בהקדם האפשרי. את שאר זמנו השקיע בהקמת גלריה לאומנות.