他几乎没接受什么正规教育，但依然靠刻苦学习摆脱贫困，成为知名律师。他是水牛城地区颇具名望的律师兼政治家，于1828年入选州众议院，1832年入选联邦众议院。他本是反共济会党员，后加入19世纪30年代中期成立的辉格党，曾与报纸出版商瑟洛·威德及其门徒威廉·H·苏厄德争夺纽约州辉格党领袖位置。菲尔莫尔从政期间一直谴责奴隶制的罪恶，但认为联邦政府无权干涉，相比之下，苏厄德不但公开反对奴隶制，而且认为联邦政府可以采取措施废除。1841年辉格党赢得联邦众议院多数席位，菲尔莫尔虽未当上议长，但还是成为筹款委员会主席。1