辉格党在菲尔莫尔卸任后四分五裂，包括他在内的众多保守派加入一无所知运动，形成美国人党。1856年获党派提名竞选总统期间，菲尔莫尔主要关注维护联邦，对移民问题基本不予置评，在普选中只赢得马里兰州。南北战争期间，菲尔莫尔谴责分裂，认为即便动用武力也必须维持联邦，但对亚伯拉罕·林肯总统的战时政策持否定态度。内战结束后，他支持安德鲁·约翰逊总统的重建政策。菲尔莫尔退休后继续参与公共事务，曾出任他1846年创办的紐約州立大學水牛城分校校长，后于1874年3月8日去世。