。菲尔莫尔也积累有一定财富，两人在水牛城尼亚加拉广场买下大别墅并在此度过余生。菲尔莫尔夫妇积极赞助娱乐和慈善事业，史密斯就称“他们几乎对所有能想到的理由都慷慨解囊”，赞助项目包括水牛城历史学会（），以及他协助创办的水牛城总医院（）。菲尔莫尔在1860年总统大选中投票支持北方民主党人提名的道格拉斯参议员，但最终当选的是共和党人、伊利诺伊州联邦众议员亚伯拉罕·林肯。美国面临分裂危机，许多人征询菲尔莫尔的意见，但他自认影响力不足，拒绝卷入其中。他谴责布坎南在南方州脱离联邦时无所作为，称联邦政府虽然不能强迫各州