莫尔四年后又在本土主义政党一无所知支持下再度参与总统大选，最终得票率排第三。菲尔莫尔出身纽约州五指湖贫困家庭，儿时父母都是佃农。他几乎没接受什么正规教育，但依然靠刻苦学习摆脱贫困，成为知名律师。他是水牛城地区颇具名望的律师兼政治家，于1828年入选州众议院，1832年入选联邦众议院。他本是反共济会党员，后加入19世纪30年代中期成立的辉格党，曾与报纸出版商瑟洛·威德及其门徒威廉·H·苏厄德争夺纽约州辉格党领袖位置。菲尔莫尔从政期间一直谴责奴隶制的罪恶，但认为联邦政府无权干涉，相比之下，苏厄德不但公开反对