上结识早期政治老板、报纸出版商瑟洛·威德（），两人都很佩服对方。菲尔莫尔此时是东奥罗拉颇具声望的居民，从1828年开始连续三年入选纽约州众议院（1829至1831年任职）。1828年，杰克逊民主党人（很快发展成民主党）大获全胜，杰克逊入主白宫之余，位于奥尔巴尼的州议会大部分议席也落入该党之手。菲尔莫尔虽沦为少数派，但工作依然卓具成效，他推动立法允许证人出庭作证时以非宗教手段宣誓，并在1830年废除债务监禁制度。此时他的大部分法律业务都已转移到水牛城，同年又把家搬来此地。1831年，他没有再竞选连任。菲尔