辉格党赢得联邦众议院多数席位，菲尔莫尔虽未当上议长，但还是成为筹款委员会主席。1844年，他争取辉格党副总统候选人提名和纽约州州长席位均告失利，后于1847年成为首位通过直接选举当选的纽约州主计长。担任副总统的菲尔莫尔倍受泰勒冷落，哪怕是在纽约州的官职分配上总统也只与威德和苏厄德商议。国会就墨西哥割让地是否容许奴隶制激烈争论，身为联邦参议院议长，菲尔莫尔主持辩论期间不顾泰勒反对支持亨利·克莱的综合法案，该法案便是1850年妥协案的基础。1850年7月继任总统后，菲尔莫尔解散泰勒内阁，推动国会通过妥协法案