莫尔家中房子因未像其他人那样以各种形式表示哀悼被人投掷黑墨水，显然他此时不在水牛城，回家后马上就为窗户换上黑色窗帘。虽然他还是水牛城的头面人物，林肯的丧葬列车经过该市时还获选为总统送行，但许多人仍对他的战时立场耿耿于怀。菲尔莫尔支持安德鲁·约翰逊总统的重建政策，认为国家需要尽快和解。他把大部分时间投入公共事务，协助建立水牛城美术馆，水牛城因此成为第三个拥有常设美术馆的美国城市。晚年的菲尔莫尔身体一直很健康，但在1874年2月中风，同年3月8日第二次中风后去世，享年74岁，遗体于两天后在水牛城森林草坪公墓