门徒威廉·H·苏厄德争夺纽约州辉格党领袖位置。菲尔莫尔从政期间一直谴责奴隶制的罪恶，但认为联邦政府无权干涉，相比之下，苏厄德不但公开反对奴隶制，而且认为联邦政府可以采取措施废除。1841年辉格党赢得联邦众议院多数席位，菲尔莫尔虽未当上议长，但还是成为筹款委员会主席。1844年，他争取辉格党副总统候选人提名和纽约州州长席位均告失利，后于1847年成为首位通过直接选举当选的纽约州主计长。担任副总统的菲尔莫尔倍受泰勒冷落，哪怕是在纽约州的官职分配上总统也只与威德和苏厄德商议。国会就墨西哥割让地是否容许奴隶制激