他与苏厄德争夺1834年纽约州州长的辉格党候选人提名落败。菲尔莫尔返回水牛城后继续经营律师事务所，同时为辉格党发展出力，大部分反共济会党员逐渐加入。1836年，他已对反杰克逊联盟抱有足够信心，接受辉格党的国会议员提名。民主党人在总统候选人、时任副总统马丁·范布伦带领下基本大获全胜，范布伦也拿下故乡纽约州的选举人票，但西纽约州选民更中意辉格党，再次将菲尔莫尔送往国会山。
第二至第四个任期.杰克逊总统曾于1836年通过行政命令规定政府只能接受真金白银付款，致使民间对私人纸币普遍缺乏信心