、晚年及辞世.1856年竞选失利后，菲尔莫尔自认从政生涯已经结束，对于继续当律师，他还是找不到昔日那发挥自如的感觉。不过，他在1858年2月10日续弦再娶家境富裕的寡妇卡罗琳·麦金托什（），经济上再无后顾之忧。菲尔莫尔也积累有一定财富，两人在水牛城尼亚加拉广场买下大别墅并在此度过余生。菲尔莫尔夫妇积极赞助娱乐和慈善事业，史密斯就称“他们几乎对所有能想到的理由都慷慨解囊”，赞助项目包括水牛城历史学会（），以及他协助创办的水牛城总医院（）。菲尔莫尔在1860年总统大选中投票支持北方民主党人提名的道格拉斯参