斯特，两人保持密切关系，直到韦伯斯特在菲尔莫尔总统任期即将结束时辞世。菲尔莫尔支持设立美国第二银行推动经济发展，但未就此参与特许状续约的国会辩论，这有可能是因为杰克逊此前曾否决相同提议的国会法案。菲尔莫尔支持基础设施建设，对哈德逊河导航改进和建桥跨越波托马克河的法案都投下赞成票。反共济会党在西纽约州实力依旧强劲，但已逐渐退出国家舞台。1834年反共济会党没有提名菲尔莫尔竞选连任，他随后谢绝辉格党提名，认为两党争斗会摊薄反杰克逊选民的选票，导致民主党人胜出。卸任联邦众议员后，他与苏厄德争夺1834年纽约州