反感奴隶制，但认为这不是政治问题。苏厄德的反对立场要强烈得多，担任州长期间不吝付诸行动，拒绝将逃到纽约州的奴隶送回南方奴隶主手中。1839年，水牛城律师公会建议州长提名菲尔莫尔出任第八司法选区副区长，但苏厄德拒绝后提名弗雷德里克·惠特西（），表示即便纽约州参议院不批准，他也不会提名菲尔莫尔。菲尔莫尔在辉格党全国大会开始前积极探讨1840年总统大选的提名人选，他起初支持温菲尔德·斯科特将军，但最希望的还是确保肯塔基州联邦参议员亨利·克莱不会获提名。克莱是奴隶主，菲尔莫尔认为他不可能赢得纽约州。菲尔莫尔没有