反共济会党纽约州大会支持约翰·昆西·亚当斯连任，菲尔莫尔是与会代表，还曾参加1828年夏季的两次反共济会党员大会。他在会上结识早期政治老板、报纸出版商瑟洛·威德（），两人都很佩服对方。菲尔莫尔此时是东奥罗拉颇具声望的居民，从1828年开始连续三年入选纽约州众议院（1829至1831年任职）。1828年，杰克逊民主党人（很快发展成民主党）大获全胜，杰克逊入主白宫之余，位于奥尔巴尼的州议会大部分议席也落入该党之手。菲尔莫尔虽沦为少数派，但工作依然卓具成效，他推动立法允许证人出庭作证时以非宗教手段宣誓，并在183