菲尔莫尔解散泰勒内阁，推动国会通过妥协法案。妥协法案中包含的《逃奴法》颇具争议，要求尽快将逃脱的奴隶送回奴隶主控制。菲尔莫尔自认有义务执法，但这也令他和辉格党的声望受损，党派南北分裂。菲尔莫尔在外交政策方面支持美国海军远征队与日本开放贸易，反对法国染指夏威夷，但也因纳西索·洛佩斯自作主张带队远征古巴陷入尴尬境地。1852年他本希望竞选四年完整任期，但辉格党最后选择的是温菲尔德·斯科特。辉格党在菲尔莫尔卸任后四分五裂，包括他在内的众多保守派加入一无所知运动，形成美国人党。1856年获党派提名竞选总统期间，