Second Bank of the United States
1832年，菲尔莫尔顺利当选联邦众议员。反共济会党总统候选人、前司法部长威廉·沃特在普选中仅拿下佛蒙特州，杰克逊总统轻松连任。国会此时在每年12月开会，所以菲尔莫尔当选后还要过一年多才开始任职。他和威德等人都意识到，单纯的反共济会受众面实在有限，不足以作为国家级政党的根基，于是以国家共和党、反共济会党和心怀不满的民主党人为基础，组建基础更雄厚的辉格党。新党最初是在反杰克逊理念下团结起来，后来党纲逐渐扩张，加入支持重新发布特许权开办美国第二银行、联邦政府为包括道路、桥梁和运河在内的境内改进（）项目注资以实现经济增长等内容，逐渐发展成大党。威德加入辉格党的时间比菲尔莫尔早，成为该党重要人物。菲尔莫尔虽然反感奴隶制，但认为联邦政府无权干涉。相比之下，威德的反奴隶制立场更加激进，与来自奥本的纽约州辉格党大鳄威廉·H·苏厄德接近，苏厄德也被视为威德的门生。