尔自认有义务执法，但这也令他和辉格党的声望受损，党派南北分裂。菲尔莫尔在外交政策方面支持美国海军远征队与日本开放贸易，反对法国染指夏威夷，但也因纳西索·洛佩斯自作主张带队远征古巴陷入尴尬境地。1852年他本希望竞选四年完整任期，但辉格党最后选择的是温菲尔德·斯科特。辉格党在菲尔莫尔卸任后四分五裂，包括他在内的众多保守派加入一无所知运动，形成美国人党。1856年获党派提名竞选总统期间，菲尔莫尔主要关注维护联邦，对移民问题基本不予置评，在普选中只赢得马里兰州。南北战争期间，菲尔莫尔谴责分裂，认为即便动用武力