米勒德·菲尔莫尔
米勒德·菲尔莫尔（，）于1850至1853年任第十三任美国总统，也是历史上最后一位入主白宫的辉格党人。菲尔莫尔曾任纽约州联邦众议员，1848年当选第十二任副总统，1850年扎卡里·泰勒去世后继任总统职位。他在国会通过《1850年妥协案》中发挥重要作用，各方在奴隶制问题上的长期斗争短暂平息。虽未获1852年辉格党总统候选人提名，但菲尔莫尔四年后又在本土主义政党一无所知支持下再度参与总统大选，最终得票率排第三。
菲尔莫尔出身纽约州五指湖贫困家庭，儿时父母都是佃农。他几乎没接受什么正规教育，但依然靠刻苦学习摆脱贫困，成为知名律师。他是水牛城地区颇具名望的律师兼政治家，于1828年入选州众议院，1832年入选联邦众议院。他本是反共济会党员，后加入19世纪30年代中期成立的辉格党，曾与报纸出版商瑟洛·威德及其门徒威廉·H·苏厄德争夺纽约州辉格党领袖位置。菲尔莫尔从政期间一直谴责奴隶制的罪恶，但认为联邦政府无权干涉，相比之下，苏厄德不但公开反对奴隶制，而且认为联邦政府可以采取措施废除。1841年辉格党赢得联邦众议院多数席位，菲尔莫尔虽未当上议长，但还是成为筹款委员会主席。1844年，他争取辉格党副总统候选人提名和纽约州州长席位均告失利，后于1847年成为首位通过直接选举当选的纽约州主计长。
担任副总统的菲尔莫尔倍受泰勒冷落，哪怕是在纽约州的官职分配上总统也只与威德和苏厄德商议。国会就墨西哥割讓地是否容许奴隶制激烈争论，身为联邦参议院议长，菲尔莫尔主持辩论期间不顾泰勒反对支持亨利·克莱的综合法案，该法案便是1850年妥协案的基础。1850年7月继任总统后，菲尔莫尔解散泰勒内阁，推动国会通过妥协法案。妥协法案中包含的《逃奴法》颇具争议，要求尽快将逃脱的奴隶送回奴隶主控制。菲尔莫尔自认有义务执法，但这也令他和辉格党的声望受损，党派南北分裂。菲尔莫尔在外交政策方面支持美国海军远征队与日本开放贸易，反对法国染指夏威夷，但也因纳西索·洛佩斯自作主张带队远征古巴陷入尴尬境地。1852年他本希望竞选四年完整任期，但辉格党最后选择的是温菲尔德·斯科特。
辉格党在菲尔莫尔卸任后四分五裂，包括他在内的众多保守派加入一无所知运动，形成美国人党。1856年获党派提名竞选总统期间，菲尔莫尔主要关注维护联邦，对移民问题基本不予置评，在普选中只赢得马里兰州。南北战争期间，菲尔莫尔谴责分裂，认为即便动用武力也必须维持联邦，但对亚伯拉罕·林肯总统的战时政策持否定态度。内战结束后，他支持安德鲁·约翰逊总统的重建政策。菲尔莫尔退休后继续参与公共事务，曾出任他1846年创办的紐約州立大學水牛城分校校长，后于1874年3月8日去世。
1800年1月7日，米勒德·菲尔莫尔在纽约州五指湖地区卡尤加縣今摩拉维亚境内农场的小木屋中出生，在父亲纳撒尼尔·菲尔莫尔（）和母亲菲比·米勒德（）的八个孩子中排行第二，是家中长子。纳撒尼尔的父亲老纳撒尼尔·菲尔莫尔（，1739至1814年）生于康涅狄格州富兰克林，是佛蒙特州本宁顿在新罕布什尔授地（）成立后的早期定居者。
纳撒尼尔与菲比于1799年离开佛蒙特州的石场，希望找到更好的生活机遇，但他们在卡尤加县的土地所有权证明出现问题，只好搬到附近的塞姆普罗尼乌斯当佃农，纳撒尼尔偶尔会到学校教课。据历史学家泰勒·安宾德（）所述，菲尔菲尔总统的童年“非常辛苦，经常身陷贫困，几乎没有受过正规教育”。
菲尔莫尔成长期间生活十分贫寒，但随着时间的推移，家中境遇逐渐改善纳撒尼尔在塞姆普罗尼乌斯变得小有名气，获选出任包括太平紳士在内的多种地方公职。他希望长子学会手艺，说服14岁的米勒德不参加1812年战争，而是前往利文斯頓縣斯巴达（）向制布商本杰明·亨格福德（）學徒。但是，亨格福德打发米勒德去干繁重而且根本学不到技能的体力活，米勒德后来离职。父亲接下来又把他送到奈尔斯纽霍普（）的织布厂学艺。为改善自身境遇，米勒德购买租借图书馆股份，翻阅能找到的所有书籍。1819年，他利用闲瑕时间报名就读镇上新开办的学院，并与同学阿比盖尔·鲍尔斯（）堕入情网。
1819年下半年，纳撒尼尔迁居摩拉维亚的蒙特维尔（）村。他对儿子的天份非常满意，于是接受夫人建议说服所租田地东主、当地最有钱的沃尔特·伍德（）法官，让米拉德在他手下学习法律，担任见习书记员。伍德同意聘请小菲尔莫尔，并督导他通过法律工作见习期。菲尔莫尔在学校教书三个月，用赚来的钱买断织布厂学徒期。但他因独立向面临小额诉讼的农民提供法律咨询并获得少许酬劳而与伍德发生争吵，最终他在伍德手下见习18个月后离职，法官几乎没有向他支付任何报酬。菲尔莫尔不愿向法官保证永不再犯，决定放弃见习。他跟随家人西迁至距水牛城很近的伊利县东奥罗拉（），父亲买下农场，家中逐渐宽裕。
1821年，菲尔莫尔达到21岁成人年龄，他在东奥罗拉学校教书，还在无需律师执照就能出庭的太平法院打过几场官司。1822年迁居水牛城后，他先后在学校和阿萨·赖斯（）与约瑟夫·克拉里（）合伙的律师事务所继续研读法律，并在这段时间与阿比盖尔订婚。1823年取得纽约州执业律师证书后，他谢绝水牛城律所邀请，返回东奥罗拉开办律师事务所，成为当地仅有的常驻律师。据菲尔莫尔后来回忆，当年他主要是没有信心在水牛城这样的大城市执业，为他立传的保罗·芬克曼（）认为，菲尔莫尔一生绝大多数时间都受人驱使，他肯定很喜欢在东奥罗拉执业期间难得的独立自主。菲尔莫尔与阿比盖尔在1826年2月5日喜结连理，两人育有一子一女，长子米勒德·鲍尔斯·菲尔莫尔（）于1828年出生，女儿玛丽·阿比盖尔·菲尔莫尔（）在1832年降世。
除纳撒尼尔曾担任太平绅士外，菲尔莫尔家族还有许多成员投身政界和政府机构。米勒德的爷爷老纳撒尼尔曾在本宁顿任地方树篱看管人、公路测量员和税吏，叔叔卡尔文·菲尔莫尔（）曾在纽约州众议院任职，另一位叔叔西蒙·菲尔莫尔（）在纽约州克拉伦斯任镇监督员。米勒德也对政治产生兴趣，加入19世纪20年代后期兴起的反共济会党（）。
许多反共济会党人反对共济会成员安德鲁·杰克逊竞选总统，反共济会党纽约州大会支持约翰·昆西·亚当斯连任，菲尔莫尔是与会代表，还曾参加1828年夏季的两次反共济会党员大会。他在会上结识早期政治老板、报纸出版商瑟洛·威德（），两人都很佩服对方。菲尔莫尔此时是东奥罗拉颇具声望的居民，从1828年开始连续三年入选纽约州众议院（1829至1831年任职）。1828年，杰克逊民主党人（很快发展成民主党）大获全胜，杰克逊入主白宫之余，位于奥尔巴尼的州议会大部分议席也落入该党之手。菲尔莫尔虽沦为少数派，但工作依然卓具成效，他推动立法允许证人出庭作证时以非宗教手段宣誓，并在1830年废除债务监禁制度。此时他的大部分法律业务都已转移到水牛城，同年又把家搬来此地。1831年，他没有再竞选连任。
菲尔莫尔的律师事业同样风生水起。水牛城此时正急剧扩张，从英国人在1812年战争期间引发的火灾中逐渐恢复，成为伊利運河的西线终点站。伊利县以外的案件卷宗开始堆上他的办公桌，迁居水牛城前，菲尔莫尔就已是当地知名律师。他与东奥罗拉工作期间聘请的法律助理内森·霍尔（）成为终生挚友，霍尔与菲尔莫尔在水牛城合伙经营律师事务所，菲尔莫尔当上总统后还请霍尔出任美国邮政总局局长。菲尔莫尔迁居水牛城时，当地在法律上还属村庄，立法机构通过法案将其注册成市时菲尔莫尔已经离开州议会，但城市宪章却是在他的帮助下拟定。提供法律服务之余，他协助创立水牛城高中协会，加入吕克昂运动并参加当地一位论派教会活动，成为水牛城颇具名望的市民。他还积极加入纽约州民兵，官拜少校，是第47旅巡视员。
1832年，菲尔莫尔顺利当选联邦众议员。反共济会党总统候选人、前司法部长威廉·沃特在普选中仅拿下佛蒙特州，杰克逊总统轻松连任。国会此时在每年12月开会，所以菲尔莫尔当选后还要过一年多才开始任职。他和威德等人都意识到，单纯的反共济会受众面实在有限，不足以作为国家级政党的根基，于是以国家共和党、反共济会党和心怀不满的民主党人为基础，组建基础更雄厚的辉格党。新党最初是在反杰克逊理念下团结起来，后来党纲逐渐扩张，加入支持重新发布特许权开办美国第二银行、联邦政府为包括道路、桥梁和运河在内的境内改进（）项目注资以实现经济增长等内容，逐渐发展成大党。威德加入辉格党的时间比菲尔莫尔早，成为该党重要人物。菲尔莫尔虽然反感奴隶制，但认为联邦政府无权干涉。相比之下，威德的反奴隶制立场更加激进，与来自奥本的纽约州辉格党大鳄威廉·H·苏厄德接近，苏厄德也被视为威德的门生。
菲尔莫尔敦促国会扩张水牛城港，因为扩张海港属联邦政府职责；同时又在奥尔巴尼呼吁扩充纽约州境内的伊利运河。1832年竞选期间，他与反共济会党的关系依然模凌两可，直到宣誓就职后才正式退出。马萨诸塞州联邦参议员丹尼尔·韦伯斯特在全美颇具影响，他觉得菲尔莫尔很有潜力，将其纳入羽翼保护之下。菲尔莫尔坚定支持韦伯斯特，两人保持密切关系，直到韦伯斯特在菲尔莫尔总统任期即将结束时辞世。菲尔莫尔支持设立美国第二银行推动经济发展，但未就此参与特许状续约的国会辩论，这有可能是因为杰克逊此前曾否决相同提议的国会法案。菲尔莫尔支持基础设施建设，对哈德遜河导航改进和建桥跨越波托马克河的法案都投下赞成票。
反共济会党在西纽约州实力依旧强劲，但已逐渐退出国家舞台。1834年反共济会党没有提名菲尔莫尔竞选连任，他随后谢绝辉格党提名，认为两党争斗会摊薄反杰克逊选民的选票，导致民主党人胜出。卸任联邦众议员后，他与苏厄德争夺1834年纽约州州长的辉格党候选人提名落败。菲尔莫尔返回水牛城后继续经营律师事务所，同时为辉格党发展出力，大部分反共济会党员逐渐加入。1836年，他已对反杰克逊联盟抱有足够信心，接受辉格党的国会议员提名。民主党人在总统候选人、时任副总统马丁·范布伦带领下基本大获全胜，范布伦也拿下故乡纽约州的选举人票，但西纽约州选民更中意辉格党，再次将菲尔莫尔送往国会山。
杰克逊总统曾于1836年通过行政命令规定政府只能接受真金白银付款，致使民间对私人纸币普遍缺乏信心，这一程度上导致美国在范布伦执政后发生1837年大恐慌。杰克逊将政府资金从美国第二银行取出，存入部分州立银行，这些银行因此得名“被宠幸的银行”（）。范布伦提议把资金投入次级国债，或是不会把钱外借的政府托管机构。菲尔莫尔认为政府资金应用于国家发展，国内黄金本就有限，总统的提议会导致商品流通资金更加匮乏。范布伦的次级国债及其他经济提案虽获通过，但随着国家经济举步维艰，辉格党的支持率上升，在1837年选举中夺得纽约州议会多数席位，为1838年州长候选人提名争夺战埋下伏笔。菲尔莫尔支持1836年辉格党副总统候选人弗朗西斯·格兰杰（），但威德更看好苏厄德。威德为苏厄德拿下提名时，菲尔莫尔颇感沮丧，但他还是在普选中义无反顾地为苏厄德摇旗呐喊。最终苏厄德当选州长，菲尔莫尔也赢得连任。
愈演愈烈的反奴隶制运动导致菲尔莫尔和苏厄德关系恶化。菲尔莫尔虽然反感奴隶制，但认为这不是政治问题。苏厄德的反对立场要强烈得多，担任州长期间不吝付诸行动，拒绝将逃到纽约州的奴隶送回南方奴隶主手中。1839年，水牛城律师公会建议州长提名菲尔莫尔出任第八司法选区副区长，但苏厄德拒绝后提名弗雷德里克·惠特西（），表示即便纽约州参议院不批准，他也不会提名菲尔莫尔。
菲尔莫尔在辉格党全国大会开始前积极探讨1840年总统大选的提名人选，他起初支持温菲尔德·斯科特将军，但最希望的还是确保肯塔基州联邦参议员亨利·克莱不会获提名。克莱是奴隶主，菲尔莫尔认为他不可能赢得纽约州。菲尔莫尔没有出席党派提名大会，但对威廉·亨利·哈里森获总统候选人提名，前弗吉尼亚州联邦参议员约翰·泰勒获副总统候选人提名感到非常欣慰。他在西纽约州为哈里森竞选，最终辉格党候选人赢得大选入主白宫，菲尔莫尔也轻取对手再度连任。
哈里森在克莱促请下很快召开国会特别会议。辉格党首次控制众议院之际，菲尔莫尔希望能当上议长，但不敌克莱的得力助手、肯塔基州议员约翰·怀特（）。不过，菲尔莫尔还是成为众议院筹款委员会主席。辉格党人对哈里森寄予厚望，期待他携手克莱及其他辉格党国会政要通过各种法案，但他在1841年4月4日去世，副总统泰勒继任。泰勒曾是特立独行的民主党人，他很快就在建立国家级银行稳定货币的国会提案上与克莱分道扬镳，两次对法案行使否决权，因此被辉格党除名。菲尔莫尔身处冲突边缘没有卷入，他整体支持党派国会法案，但身为筹款委员会主席，他最大的成就还是《1842年关税法》。此前的关税没有特别保护制造业，部分收入分配给各州，这一度是非常利好的政策，但随着时间的推移却导致国库空虚。菲尔莫尔准备的法案建议提高税率，在当时颇得民心，但其中包含的利益分配延续条款导致总统必然要行使否决权，这反过来又能为辉格党争取更大的政治优势。泰勒否决法案后，以马萨诸塞州议员约翰·昆西·亚当斯为首的众议院委员会发声谴责总统所作所为。菲尔莫尔又递交第二份法案，其中不再包含利益分配条款，国会通过后泰勒签署法案，但此举又令总统的民主党盟友深感愤怒。如此这般，菲尔莫尔不但达成立法目标，还令总统在政治上陷入孤立。
新关税法为菲尔莫尔赢得赞誉，但他在1842年7月宣布不再寻求连任，而且说到做到谢绝辉格党提名。他对首都生活和牵涉泰勒总统的冲突感到厌倦，只想回到水牛城继续当律师过日子。1842年选举过后，他继续积极参与国会跛脚鸭议程，于1843年4月返回水牛城。为他立传的罗伯特·斯卡里（）称：“菲尔莫尔在成为政界大鳄、名望如日中天之际激流勇退，结束国会生涯”。威德评价菲尔莫尔的国会议员任期“能言善辩、讨论理智，拥有始终如一的政治操守”。
菲尔莫尔卸任后继续从事法律工作，关注长期忽视的家人。他依然是政坛要人，带领地方名流迎接来访水牛城的亚当斯。亚当斯对菲尔莫尔离开国会表示遗憾，辉格党一致推举克莱为1844大选的总统候选人，部分人士提议由菲尔莫尔当他的竞选搭档。霍勒斯·格里利甚至私下表示：“很长一段时间以来，我眼中（美国总统）的第一人选都是米勒德·菲尔莫尔”，还有些人希望菲尔莫尔出马为辉格党人重夺州长官邸。最终菲尔莫尔决定竞选副总统。
菲尔莫尔希望获得辉格党全国大会纽约州代表的支持，但威德想让苏厄德竞选副总统，菲尔莫尔竞选州长。苏厄德在1844年辉格党全国大会召开前退出竞争，威德的副总统后备人选威利斯·霍尔（）又病倒，但他还是不愿菲尔莫尔竞选副总统，想通过阻止菲尔莫尔获提名来迫使他参选州长。菲尔莫尔对此非常反感，认为这“伪装的好心”背后其实“两面三刀”，根本没打算提名他竞选州长。纽约州代表团在巴尔的摩召开的大会上宣誓支持克莱，但没有接到支持哪位副总统提名候选人的指示。威德告诉其他州代表，纽约州辉格党希望菲尔莫尔竞选州长，克莱获总统提名后，副总统提名由新泽西州联邦参议员西奥多·弗雷林格森（）所得。
面对全国大会上的失利，菲尔莫尔表面上一笑置之，与弗雷林格森面谈并公开露面，私下则对威德在州党代表大会上提名他担任州长的提议嗤之以鼻。菲尔莫尔只愿在州权级别反对奴隶制的立场获得纽约州辉格党人认可，威德觉得这是向菲尔莫尔施压的好机会。菲尔莫尔曾表示，党代表大会有权指派任何人出任公职，威德以此为突破口促使州大会选择菲尔莫尔，后者虽不情愿，但的确拥有大范围支持。
民主党提名联邦参议员西拉斯·赖特（）争夺纽约州州长席位，田纳西州前州长詹姆斯·诺克斯·波尔克竞选总统。虽然菲尔莫尔取得德裔美国人票仓，但辉格党在几个月前的纽约市市长选举中支持排外主義候选人导致党派在移民眼中形象受损，菲尔莫尔也受到拖累。他对移民没有好脸色，觉得竞选失利都是拜“外国天主教徒”所赐，克莱在总统大选中同样落败。菲尔莫尔的传记作者芬克曼认为，传主竞选州长失利的主要原因是对移民不够友好，对奴隶制又不够强硬。
1846年，菲尔莫尔协助建立水牛城大学（今紐約州立大學水牛城分校）并当上首任校監直至1874年去世。他反对吞并德克萨斯及随后的美墨戰爭，认为此举不过是想把奴隶制扩展到更多地区。波尔克总统否决有利水牛城的河流与港口法案，菲尔莫尔深感愤怒，称：“人民肯定是不会保佑这个国家的，但愿老天会吧”。纽约州州长此时的任期为两年，如果有意，菲尔莫尔完全可以在1846年取得辉格党提名，但他选择为支持者约翰·杨（）争取，最终杨顺利当选。无意参选的菲尔莫尔在提名大会上依然有大批代表支持，距获提名一度只差一票。纽约州通过新宪法，将原本由州议会任命的州主计长、司法部长等公职改为民选。菲尔莫尔担任众议院筹款委员会主席的工作经验无疑令他成为主计长热门人选，他也顺利获得1847年选举的辉格党提名。凭借党派团结为后盾，菲尔莫尔以超出对手3.8万票当选，刷新纽约州历史上辉格党人竞选州级公职的得票优势纪录。
菲尔莫尔将水牛城的房子出租并退出律师事务所，于1848年1月1日到奥尔巴尼就职。他的主计长任期颇受好评，任职期间还是州运河委员会委员，支持运河扩建并确保运河管理切实有效，还促使水牛城运河设施扩充。主计长有权监管银行，菲尔莫尔要求州特许银行将纽约州和联邦债卷的价值保持在银行所发纸币总额范围内，以此稳定货币。1864年，国会通过构想类似的法案。
波尔克总统承诺不会竞选连任，辉格党已在1846年选举中占据国会多数席位，希望能在1848年攻占白宫。克莱和韦伯斯特是辉格党常年竞选老将，两人都在竭力争取国会同僚支持，希望获得提名。许多辉格党人希望美墨战争英雄、民意极高的扎卡里·泰勒将军出任总统。但是，美国政坛此时正面临是否允许奴隶制扩张到墨西哥割讓地的敏感时期，泰勒又是路易斯安那州的奴隶主，北方人士对选他当总统心存忧虑。同时泰勒的政治立场不明，导致更多人保持观望，身为职业军人，他从未在总统大选中投票。泰勒自称支持辉格党，但许多人担心他会变成另一个约翰·泰勒或哈里森。
提名人选未定，威德安排前往费城参加1848年辉格党全国大会的纽约州代表团见机行事，希望他们能在会上适时陈桥兵变，促使前州长苏厄德获总统候选人提名，或至少参选国家高级公职。他还说服菲尔莫尔支持代表团的决定，只不过没有明示推举苏厄德的打算。威德此时颇具影响，菲尔莫尔为顾全辉格党大局决定配合，但威德也有包括杨州长在内不少立场更坚定的对手，他们反感苏厄德，也不想看到他担任高级公职。
泰勒在第四轮投票中获提名，威德的期望落空，克莱的支持者及东北部良心辉格党人深感愤怒。会场安静下来后，反对威德的纽约州代表约翰·科利尔（）上台讲话。与会代表聚精会神地听取他每一句话，科利尔自称坚定支持克莱，每轮都把票投给他。他生动形象地描述克莱支持者此时难过的心情，把克莱送进白宫的苦战又一次落空，令他们万分沮丧。科利尔声称，党派此时正面临致命危机，只有提名坚定支持克莱的菲尔莫尔当副总统才能缓和局面。菲尔莫尔虽然在许多问题上抱持克莱同等立场，但并不支持他当总统，此时也不在现场。与会代表无从得知科利尔所言不尽不实，或至少严重夸大，许多人赞成科利尔的提议。此时总统候选人还不能自行挑选竞选搭档，泰勒的班底虽竭力为马萨诸塞州前联邦众议员阿伯特·劳伦斯（）争取，但菲尔莫尔还是在第二轮投票就获得辉格党副总统提名。
威德一度希望苏厄德获副总统提名，但苏厄德只得到少数代表支持，科利尔促使菲尔莫尔获副总统提名还令威德派系的其他愿望落空。按照当时的政治传统，身为纽约州人的菲尔莫尔已经提名副总统，那么该州其他人就不应该再竞选内阁位置。有说法称科利尔的行事有菲尔莫尔参与，但没有任何证据支撑。辉格党人有充分的理由选择菲尔莫尔，事实证明，在大选中举足轻重的纽约州选民对他青眼有加，国会纪录也足以证明他忠于辉格党，所以即便泰勒将军真有不测，菲尔莫尔也不大可能变成另一个约翰·泰勒。与会代表对他在《1842年关税法》发挥的作用记忆犹新，他与劳伦斯及俄亥俄州的托马斯·尤因都曾是副总统热门人选。苏厄德此时已因反奴隶制立场和言论闻名，菲尔莫尔作为他的对手更容易得到南方人士认可。
根据19世纪中期的美国政治传统，高级公职的候选人通常不直接出面竞选。菲尔莫尔因此继续担任主计长，没有公开演说。1848年大选的竞选活动主战场是报纸，各方代理人在集会演讲。民主党人提名密歇根州联邦参议员刘易斯·卡斯任总统，竞选搭档是威廉·奥兰多·巴特勒（）少将。以反对奴隶制扩张为主要纲领的自由土地黨跑来搅混水，提名前总统范布伦重返白宫，选举变成三雄争霸。泰勒接受南卡罗来纳州异见民主党人总统候选人提名，导致局面复杂化，包括威德在内的部分辉格党人担心他会像约翰·泰勒一样背叛辉格党，威德打算八月下旬在奥尔巴尼集会，说服选举人不要把票投给扎卡里·泰勒。菲尔莫尔介入调解，他向威德保证，泰勒肯定忠于党派。
北方人士认为菲尔莫尔来自自由州，肯定反对奴隶制扩张。南方人指责他企图废除奴隶制，但菲尔莫尔坚决否认。他写给阿拉巴马州某居民的回信在媒体广为传播，信中称奴隶制虽然罪恶，但联邦政府无权干涉。泰勒和菲尔莫尔在九月有两次通信往来，总统候选人在信中表示很高兴有关南卡罗来纳民主党人的危机已经解决。菲尔莫尔则请将军放心，普选前景看好，特别是在美国东北部地区。
辉格党候选人最终以小幅优势赢得普选，纽约州的选举人票在选举中依然举足轻重。从普选票看，辉格党得票136万1393张，占47.3%，民主党人得票122万3460张，占42.5%，选举人票则以163票力压对手的127票。小党派候选人虽未获选举人票，但管中窥豹，依然能从范布伦的得票率看出新兴反奴隶制运动实力不容小觑，他虽未赢得任何一州多数支持，但得票总数达29万1501，占10.1%，在纽约州、佛蒙特州和马萨诸塞州都位居第二。
1849年3月5日，米勒德·菲尔莫尔在参议院大厅宣誓就职。此时美国总统和副总统的就职日是3月4日，但1849年这天适逢周日，所以推迟到第二天。美国首席大法官罗杰·B·托尼主持宣誓仪式，菲尔莫尔接下来主持新任参议员的宣誓仪式，其中就包括2月当选的苏厄德。
菲尔莫尔利用赢得选举到正式就职期间的四个月时间接受州内辉格党人宴请，为主计长的工作收尾。泰勒在写给他的信中承诺，副总统会在新政府中发挥重要作用，但他完全没想到19世纪时副总统还不是内阁成员。菲尔莫尔、苏厄德和威德会面并就如何分配纽约州联邦公职达成基本共识，苏厄德赶赴首都后与新总统的兄弟、内阁提名人选和白宫助手保持友好接触，威德控制的政党机器很快就背着菲尔莫尔与新政府联盟。为获得分配纽约州联邦公职的充分权力，苏厄德和威德同意大幅降低副总统在新政府的重要程度。菲尔莫尔在选举后发现遭人出卖后去找泰勒，结果只导致争端更加公开。科利尔等党派大会上支持提名菲尔莫尔的辉格党人都被边缘化，各项公职由威德支持的候选人抢占，其中甚至包括水牛城的职位，令威德在纽约州政坛的影响力大幅提升，菲尔莫尔则遭遇重创，对此罗伯特·雷贝克（）称：“截至1849年中期，菲尔莫尔已身陷绝境。”不过，想在政府机构谋得一官半职的人还是缠着他，而且此时副总统还没有正式官邸，所以有房出租和出售的人也个个都找上他推销。菲尔莫尔一生热衷学习，他利用担任副总统的机会积极投身史密森尼学会管理，成为董事会官守議員。
1849年间，新领土的奴隶制问题一直没有解决。总统主张接纳加利福尼亚和新墨西哥（包括今新墨西哥州和亚利桑那州），两地很可能都会宣布奴隶制非法。身为南方奴隶主，泰勒不支持奴隶制向新领土扩张的立场令南方人士深感意外，他还认为奴隶制在干旱的西南地区根本发展不起来。南方人士不论党派都感到愤怒，在他们看来，新领土不支持奴隶制就等于在部分国家事务上把南方人排除在外。1849年12月国会开幕后，这种纷争在议长选举中展露无疑，众议院花费数周时间经过数十轮投票才选出议长，国会也在派系争斗中四分五裂。
为反击威德的政治机器，菲尔莫尔将纽约州其他志同道合的辉格党人串联起来。凭借州内金主支持，他们创办新报纸与威德经营的《奥尔巴尼晚报》（）抗衡，双方对立至此公开化。1849年11月，菲尔莫尔和威德在纽约碰面后都撕下表面友好的伪装相互指责。
担任副总统期间，菲尔莫尔主持过美国历史上多场激烈且对后世影响深远的辩论，这些辩论基本都和是否允许奴隶制向新领土扩张有关。持续不断的局部冲突已经激发大量争论，1850年1月21日泰勒总统又向国会特别呼吁马上接纳加利福尼亚加入联邦，之后再接纳新墨西哥；德克萨斯州对今墨西哥州境内大部分地区提出的领土主张引发边界争议，最高法院出手调解。1月29日，克莱提出《综合议案》（），南北双方都能从中得到好处：加利福尼亚作为自由州加入联邦，在新墨西哥和犹他组建领地政府，禁止华盛顿哥伦比亚特区的奴隶买卖。法案还要求严格执行《逃奴法》，因为北方部分州对该法的抵制一直令南方人深感不满。克莱的法案还为德克萨斯州和新墨西哥的领土争端提供解决方案，各领土是否准许奴隶制就由当地居民自决。法案在国会陷入胶着，总统也不置可否。经过持续数周的辩论，菲尔莫尔于1850年5月告知泰勒，如果参议员表决法案时出现僵局，他将投下赞成票让法案通过。菲尔莫尔已经竭尽全力确保参议员间和平共处，时时提醒众人，身为副总统，他有权裁定违规。但这样的警告依然未能避免密西西比州议员亨利·斯图尔特·富特（）和密苏里州议员托马斯·哈特·本顿（）在4月17日大打出手。其他议员还没来得及上前阻止时，富特甚至拔枪对准冲过来的本顿。
1850年7月4日，华盛顿哥伦比亚特区非常炎热，泰勒总统出席独立日庆典，为華盛頓紀念碑奠基，为了提神，估计他喝下混有樱桃的冷牛奶，后因某些食物患上腸胃炎，于7月9日去世。泰勒绰号“时刻准备着的老牌硬汉”，从军期间就以作风强硬、能够经受激烈战斗考验闻名，他的突然去世震惊全国。
7月8日，正在参议院主持议事的菲尔莫尔接获通知后赶到白宫，与内阁成员在总统卧室外等候。7月9日晚，他在威拉德酒店接到总统去世的正式通知，上有内阁成员签名。确认信件内容后，菲尔莫尔一夜无眠，然后赶往众议院，经哥伦比亚特区联邦法院首席法官威廉·克兰奇（）主持在国会联席会议见证下宣誓就任美国总统，当年约翰·泰勒宣誓就职时也是克兰奇主持。内阁官员按照当时的政治传统向新总统递交辞呈，预计菲尔莫尔不会接受，让他们继续任职。但他们此前就已把任副总统的菲尔莫尔边缘化，新总统同意他们辞职，只要求他们继续工作一个月，对此大部分内阁成员都没有接受。美国历史上因总统死亡或辞职继任的新总统基本都会保留前总统内阁，或至少一开始不会接受他们辞职，菲尔莫尔是至今仅有的例外。他马上就开始与辉格党领导人讨论继任人选，7月20日将新提名人选递交参议院，内阁以出任国务卿的韦伯斯特为首。韦伯斯特此前支持克莱《综合议案》之举令马萨诸塞州选民愤怒不已，他的参议员任期将于1851年结束，在故乡已经没有政治前途。菲尔莫尔还任命长年合作经营律师事务所的霍尔任邮政总局局长，该职位不但是内阁成员，而且控制着许多职位的任命权。与菲尔莫尔一样，大部分新内阁成员支持妥协法案。
泰勒的死令政治纷争暂停，但还不足以缓解危机。德克萨斯州企图通过武力手段确立新墨西哥领地归属，州长彼得·汉斯伯勒·贝尔（）甚至向泰勒总统发出咄咄逼人的信，菲尔莫尔也在就任总统后收到这种信，为此他向当地增派联邦部队，警告贝尔保持和平。
7月结束时，克莱的法案从实际层面来看已经胎死腹中，因为国会已通过一道又一道的修正案将其中绝大多数重要提议删除，只剩下组织犹他领地的条款，换言之，装载法案的“公交车”上只剩下最后一位乘客：“摩门教徒”。接下来伊利诺伊州联邦参议员史蒂芬·阿諾·道格拉斯经克莱同意走到台前，提议把《综合法案》各项目拆散成单个法案，由国会分别审批。菲尔莫尔支持道格拉斯的提议，原法案分拆成五道法案。
1850年8月6日，菲尔莫尔向国会发出特别讯息，公开贝尔州长与总统的通信，他告知国会，德克萨斯州武装部队将被视为侵略者，促请国会通过妥协法案，化解部分紧张局势。昔日主导参议院的三巨头中约翰·卡德威尔·卡尔霍恩已经去世，韦伯斯特当上国务卿，克莱因《综合议案》过度劳累，此时还在罗得岛州新港休养。道格拉斯等人于是联手引领参议院接受行政部门支持的一系列法案。各项法案均在参议院通过，除每个项目的支持者外，还有少数决心看到所有法案通过的议员护航。战场接下来转移到众议院，由于北方州人口较多，这里也是北方议员占多数。《逃奴法》争议最为激烈，废奴主义者对其中项目反感不已。菲尔莫尔向包括纽约州代表在内的北方辉格党议员施压，只要求他们选择弃权，不投反对。议会在立法过程中调整法案内容，包括在新墨西哥領地与德克萨斯州之间划定边界，任何领土主张通过经济补偿解决。加利福尼亚作为自由州加入联邦，首都禁止奴隶贸易，新墨西哥和犹他领地的奴隶制法律地位问题容后再议。菲尔莫尔直接签字批准大部分法案，仅《逃奴法》搁置两天，直至新任司法部长约翰·J·克里滕登确认其中没有违宪问题。部分北方人士对《逃奴法》不满，但这些法案的确令局势大幅缓解，大家都希望这些举措能解决奴隶制问题。
《逃奴法》颁布后依然是争议焦点：执行该法令许多北方人士深感冒犯，南方人又对执法过程存在的任何宽大处理耿耿于怀。废奴主义者批评该法不公：任何协助奴隶逃脱的人都会受到严惩，而且未向逃奴提供任何正当法律程序，因为他们根本没有机会到裁判官面前作证；此外，该法还允许裁判官将逃犯认定为奴隶后获得比认定为自由民更高的酬金，这又会从经济利益角度促使裁判官把本是自由身的黑人判为奴隶。然而，菲尔莫尔认为出任总统时立下的誓言要求他遵守并执行法律，既然国会经过反复商讨制订《逃奴法》，他就有义务执行。政府遣返奴隶的做法及部分法律诉讼因不得民心惨淡收场，例如弗吉尼亚州逃奴沙德拉克·明金斯（）获波士顿法院无罪开释后又被美国法警逮捕，最后波士顿发生暴动将他救出后送往加拿大，因此被捕的废奴主义者同样被法院无罪开释。这类案件在南方和北方广为流传，各地民众都很愤怒，原本对妥协案存在的一点好感逐渐败坏殆尽。
1850年8月，社会改革家多萝西·狄克斯（）致信菲尔莫尔，促请总统支持她在国会提出的建议，为精神病患者收治机构拨款购地。国会没有通过法案，但狄克斯和总统成为朋友，菲尔莫尔卸任多年后两人仍保持通信往来并偶尔见面。1850年9月，菲尔莫尔任命耶穌基督後期聖徒教會领袖楊百翰出任犹他领地首任总督，后者投桃报李，将领地第一个首府取名“菲尔莫尔”，周边所在县起名“米勒德縣”。
菲尔莫尔一直支持国家基础设施发展，他签署法案补贴芝加哥通往莫比尔的伊利诺伊中央铁路，以及苏圣玛丽的运河。1851年伊利铁路纽约州段完工后，总统率内阁登上从纽约市出发前往伊利湖畔的第一列火车，还有众多政界及其他名流陪同。菲尔莫尔沿途多次在火车后方的台前演说，敦促大家接受妥协法案，下车后又与来自南方的内阁成员游览新英格兰。菲尔莫尔促请国会授权建设横贯大陆的铁路，但法案直到十年后才在国会通过。
菲尔莫尔担任总统期间共任命四名美国联邦地区法院法官和一名最高法院大法官，其中他长年的朋友、律师事务所合伙人兼邮政总局局长霍尔就获得水牛城联邦地区法院法官任命。最高法院大法官利瓦伊·伍德伯里于1851年9月去世，此时参议院正在休会期，总统以休会任命将本杰明·罗宾斯·科蒂斯（）送进高院。国会12月开会后，菲尔莫尔正式提名科蒂斯并获参议院确认。1857年，科蒂斯大法官对最高法院在事涉奴隶制的斯科特诉桑福德案判决投下反对票，并以原则问题为由辞职。
1852年，最高法院大法官约翰·麦金莱（）去世，但总统的多次提名都没有结果。菲尔莫尔首先提名新奥尔良爱德华·布拉德福德（），参议院完全不予置评。总统的第二人选乔治·埃德蒙·巴杰（）又主动要求撤回提名。犹大·本杰明刚刚在联邦参议员选举中胜出，不愿意前往最高法院。对于因本杰明推荐而获提名新奥尔良律师威廉·米库（），参议院同样不置可否。菲尔莫尔直到卸任都未能填补最高法院空缺，新总统富兰克林·皮尔斯上台后提名约翰·阿奇博尔德·坎贝尔（）终于获得参议院认可。
菲尔莫尔任内有两位非常能干的国务卿，其中韦伯斯特于1852年去世，爱德华·埃弗里特继任，但总统对两人的工作把关都很严格，亲自下达所有重大决定。菲尔莫尔对亚太事务特别热心，尤其是此时还禁止几乎一切对外交往的日本。美国商人和船东希望日本开门做生意，这不但包括贸易，还包括准许美国船只补给食品和水，而且在紧急情况下可以便宜从事不受惩罚，希望在日本海岸逗留的美国水手不会被当成罪犯关起来。菲尔莫尔和韦伯斯特派马休·佩里准将带队远征，力求推动日本打开国门同外界交流。佩里的船队于1853年7月抵达日本，此时菲尔莫尔已卸任总统四个月。
菲尔莫尔坚决反对欧洲染指夏威夷。拿破仑三世统治的法国意图吞并夏威夷，菲尔莫尔为此发出措辞强硬的警告信，称“美国不会坐视此类行径”，法国最终退让。泰勒曾向葡萄牙施压，要求支付早在1812年战争期间欠下的美国债务，而且不接受仲裁方的提议；菲尔莫尔最后取得对美国更有利的解决方案。
菲尔莫尔对涉及古巴的事务感到非常棘手，古巴是西班牙殖民地，西班牙实行奴隶制，所以许多南方人希望吞并古巴，将该岛作为蓄奴领地。委内瑞拉探险家纳西索·洛佩斯（）招募美国人先后三次在没有政府授权的情况下远征古巴，希望推翻西班牙对当地的统治。1850年第二次远征古巴后，洛佩斯及部分追随者因涉嫌违反《中立法》受起诉，但南方人组成的陪审团很快就裁定罪名不成立。洛佩斯第三次远征古巴时被西班牙人处决，殖民者还将多名美国人枪决，其中包括司法部长克里滕登的侄儿。这导致新奥尔良发生针对西班牙人的暴动，西班牙领事逃离。历史学家埃尔伯特·史密斯（）在泰勒与菲尔莫尔总统任期的专著中指出，菲尔莫尔完全可以对西班牙开战，但他和韦伯斯特选择与西班牙人合作，采取一系列挽回颜面的措施解决危机、避免武装冲突。包括辉格党人在内的众多南方人支持洛佩斯的远征，菲尔莫尔的做法进一步导致党派在1852年大选前分裂。
1851年下半年，反抗奥地利统治发起匈牙利革命失败的流亡领袖科苏特·拉约什来到美国，希望美国承认匈牙利独立，引起媒体广泛关注。许多美国人对匈牙利人的抗争心怀同情，特别是来美国不久的德裔移民，在美国已有大量人口，形成强大的政治力量。科苏特受到国会欢迎，得到不把面谈机会政治化的承诺后，总统同意与他在白宫见面，但科苏特来到白宫后还是不顾之前的承诺发表演说宣扬政治主张。美国人的热情消弱后，科苏特返回欧洲，菲尔莫尔拒绝变更美国政策，继续保持中立。 随着1852年大选临近，菲尔莫尔对是否再争取四年完整任期还是迟迟拿不定主意。当上美国总统是国务卿韦伯斯特长年来的梦想，此时他已年过古稀，只想最后一次争取入主白宫。菲尔莫尔对老友的抱负心有戚戚，在1851年下半年的信中表示不会寻求完整任期，但他又不愿彻底放弃，担心党派落入苏厄德的党羽把控。随着1852年6月在巴尔的摩举行的1852年辉格党全国大会日期逐渐临近，辉格党最具胜算的总统候选人分别是菲尔莫尔、韦伯斯特和斯科特将军。威德和苏厄德支持斯科特，民主党人在五月下旬提名新罕布什尔州前联邦参议员富兰克林·皮尔斯，皮尔斯此前近十年在全国政坛都没有带起什么风浪，但因投身美墨战争迅速崛起。身为北方人士，他认可南方对奴隶制的观念，民主党因此团结起来支持他，这也意味着辉格党候选人需要为总统宝座投入苦战。
菲尔莫尔此时已因签署并执行《逃奴法》不受北方辉格党人待见，但在南方的支持率相当可观，南方辉格党人还认为党派保持团结的唯一希望就是他出马竞选总统。党代表大会上通过党纲支持将妥协法案作为奴隶制问题的最终解决方案，菲尔莫尔对此心满意足，愿意退出。但是，总统的众多支持者不愿改投国务卿，所以菲尔莫尔的退出只会成全斯科特。大会陷入僵局并持续到6月19日（星期六），经过46轮投票依然无果，代表决定休会至周一。党派领导人向总统和国务卿提议：如果韦伯斯特的得票率能在接下来几轮看涨，支持菲尔莫尔的代表就改投国务卿，让他获得提名，否则就请韦伯斯特退出成全总统。菲尔莫尔很快同意，但韦伯斯特直到周一早上才同意。国务聊的支持者在第48轮投票开始转投斯科特，后者最后在第53轮获提名。面对这样的结果，韦伯斯特远不及菲尔莫尔看得开，他向总统提出辞职，但总统没有接受。11月的普选结果以辉格党惨败告终，南方支持斯科特的选民数量很少，北方人安身立命的交叉贸易又要靠和平维系。史密斯认为，如果推举菲尔莫尔，辉格党的胜算要大得多。
菲尔莫尔卸任前的几个月风平浪静，韦伯斯特于1852年10月与世长辞，总统在他病危期间暂代国务卿职责，这段时间也没有什么需要国务卿处理的工作，埃弗里特随后接手而且完全能够胜任。菲尔莫尔本打算在最后一次国情咨文（12月）中向国会阐述他对奴隶制问题的看法，但在内阁建议下打消念头，只在讲话中对国家繁荣表示满意，还对有机会为国效力表达感激之情。国会在跛脚鸭议程期间基本没有讨论奴隶制问题，菲尔莫尔于1853年3月4日离开白宫，皮尔斯继任。
菲尔莫尔卸任重返普遍人生活时既无地产又没有足以保障经济独立的财富，这在历任美国总统中还是头一位。他没有任何预期的养老金，必须继续工作养家糊口，而且自认有必要维持前总统应有的生活尊严。他的朋友霍尔法官表示，菲尔莫尔完全可以在纽约州的高等法院出庭，菲尔莫尔正是如此打算。他和家人原计划离开白宫后到南方旅行，但阿比盖尔在皮尔斯总统的就职典礼上感染风寒，后来恶化成肺炎，于1853年3月30日在首都撒手人寰。伤心的前总统返回水牛城将妻子下葬，家庭悲剧也令他不能通过社交途径寻求工作职位，只能靠投资收入维持生计。1854年7月26日，菲尔莫尔再度遭遇失去亲人的打击，年仅22岁的女儿玛丽死于霍亂。
道格拉斯参议员提出的《堪薩斯-內布拉斯加法案》在全美引发热议，菲尔莫尔也在此时回到公众视野。法案将为1820年《密苏里妥协》中北方州的奴隶制禁令划上句点，同时开放路易斯安那購地的北方地区，准许公民前往定居，对奴隶制也没有限制。依然拥有大批支持的菲尔莫尔周游全国，表面上看与政治无关，但私下却联合心怀不满的辉格党政治家，希望携手维护联邦，支持他再度出山竞选总统。菲尔莫尔在铁路通车仪式上公开露面，并于1854年冬春之交前往克莱参议员的墓地探视，同时避开公众视野与政要见面。
《堪薩斯-內布拉斯加法案》在皮尔斯的支持下通过，辉格党早已分裂，剩下的对法案泾渭分明，菲尔莫尔的回归自然不可能会是党派崛起的信号。包括苏厄德在内的反奴隶制北方人士被吸引到新组建的共和黨，但菲尔莫尔觉得那里没有他的位置。19世纪50年代初期，许多美国人对移民、特别是不久前大批抵达美国的天主教徒颇具敌意，星条旗社（）等大量排外主义组织随之兴起。1854年，星条旗社已演变成美国人党（），外界人称“一无所知”，因为该党早期成员都需立誓对党内活动保密，面对询问就自称“一无所知”。这年大部分支持菲尔莫尔的“国家辉格党人”都已加入一无所知，并推动新党接纳除排外主义以外的其他诉求。一无所知党在1854年中期选举中的胜利令菲尔莫尔深受鼓舞，他们不但拿下北方多个州，而且在南方实力也不容小觑。1855年1月1日，菲尔莫尔将信件公开出版，在信中警示移民对美国选举的不利影响，随后不久便加入星条旗社。
菲尔莫尔同年出国，并公开表示旅行是因为没有公职要忙。此次行程源自政治友人的建议，希望借旅游让他避免卷入争议。1855年3月至1856年6月，菲尔莫尔在欧洲和中东停留一年多。据称维多利亚女王就曾称赞这位前美国总统是她见过最帅气的男子，他还很巧地与范布伦同时抵达英国下议院旁听席，引起下议院议员约翰·布莱特（）的注意和感慨。牛津大学本想向菲尔莫尔授予民法博士名誉学位，但菲尔莫尔自认“文学或科学素养”都配不上而谢绝。据称他还自认“没有接受过古典教育”，因此无法理解文凭上的拉丁语：“在我看来，任何人都不应该接受他根本看不懂的学位”。不过，牛津学子经常起哄或嘲笑接受这种名誉学位的人，可能这才是菲尔莫尔谢绝学位的真正原因。
多萝西·狄克斯比菲尔莫尔更早来到欧洲，正为改善精神疾患境遇游说，两人多次见面并继续保持通信。仔细权衡政治利弊后，菲尔莫尔在罗马与教皇庇護九世见面，之前得知按习俗他必须下跪并亲吻教皇的手时还差点取消会面。最终两人见面期间教皇一直没有站起来，这样前总统就无需行下跪和吻手礼。
菲尔莫尔的盟友已经完全掌控美国人党，他还没回国就获得该党总统候选人提名，来自肯塔基州的安德鲁·杰克逊·多尼尔森（，杰克逊总统的亲家侄儿）在党代表大会上成为他的竞选搭档。1856年6月，菲尔莫尔在一片欢呼声中高调回国，纽约市为他举办大型招待会，接下来他又出席州内各地欢迎会，把握机会上台演说直至返回水牛城。从致辞来看，这些讲话与竞选演说相比倒更像是对他人破费致谢，这样如果之后的确有望争夺总统席位，他也不会因谋求公职授人以柄。菲尔莫尔发出警示，如果共和党候选人，在南方基本无人问津的前加利福尼亚州联邦参议员约翰·弗雷蒙特（）当选，必导致联邦四分五裂并引发内战。他和民主党候选人、前宾夕法尼亚州联邦参议员詹姆斯·布坎南都认为奴隶制属州内事务，联邦政府无权干涉。菲尔莫尔极少谈及移民问题，而是关注南北双方的立场鸿沟，呼吁维护联邦。
回到水牛城后，菲尔莫尔没有理由再公开演讲，他的竞选活动在1856年夏季和秋季基本停滞。威德等昔日辉格党的政治调停人倾向加入共和党，美国人党缺乏政治经验，基本上只会宣扬排外主义思想，这就导致菲尔莫尔维护联邦的主张鲜有耳闻。南方人看好菲尔莫尔，许多人担心弗雷蒙特当选会导致国家分裂，部分认可菲尔莫尔的人于是转投布坎南阵营，避免反对弗雷蒙特的选票分散致使共和党候选人当选。斯卡里认为，1856年发生的众多事件，如堪薩斯領地的武装冲突、联邦参议院的肢体冲突令国家两极分化，菲尔莫尔的温和立场已不合时宜。
布坎南在选举日以183万6072张普选票（45.3%）和174张选举人票胜出，弗雷蒙特获134万2345张普选票（33.1%）和114张选举人票，菲尔莫尔位居第三，获87万3053张普选票（21.6%），并拿下马里兰州的八张选举人票，成为美国历史上首位获选举人票的前总统，数十年后才有格罗弗·克利夫兰（1892年）和西奥多·罗斯福（1912年）跟进。美国人党候选人在南方多个州都以微弱劣势屈居第二，如果在路易斯安那州、肯塔基州和田纳西州再获得不到八千票，选择结果就需联邦众议院裁定，这样各方的立场鸿沟将导致结果无可预料。
历史学家艾伦·内文斯（）认为，菲尔莫尔不是一无所知党员，也不是排外主义者，获提名时他根本不在美国，也没有任何人对竞选征询他的意见。更重要的是，“他从未通过口头讲话或书面文字认同美国人党的信条。”他“希翼的只是民族团结，认为只有美国人党才能对奴隶制持续不断的纷争和煸动视而不见，成长为真正的民族政党”。
1856年竞选失利后，菲尔莫尔自认从政生涯已经结束，对于继续当律师，他还是找不到昔日那发挥自如的感觉。不过，他在1858年2月10日续弦再娶家境富裕的寡妇卡罗琳·麦金托什（），经济上再无后顾之忧。菲尔莫尔也积累有一定财富，两人在水牛城尼亚加拉广场买下大别墅并在此度过余生。菲尔莫尔夫妇积极赞助娱乐和慈善事业，史密斯就称“他们几乎对所有能想到的理由都慷慨解囊”，赞助项目包括水牛城历史学会（），以及他协助创办的水牛城总医院（）。
菲尔莫尔在1860年总统大选中投票支持北方民主党人提名的道格拉斯参议员，但最终当选的是共和党人、伊利诺伊州联邦众议员亚伯拉罕·林肯。美国面临分裂危机，许多人征询菲尔莫尔的意见，但他自认影响力不足，拒绝卷入其中。他谴责布坎南在南方州脱离联邦时无所作为，称联邦政府虽然不能强迫各州行事，但那些鼓吹分裂的人应该当成叛徒处理。林肯前往首都就职期间经过水牛城，菲尔莫尔带领当地名流迎接，在自家宅邸款待新当选的总统，还带他一起前去教堂。战争爆发后，菲尔莫尔支持林肯维护联邦的举措，还亲自统领纽约上州45岁以上男子组成的联邦大陆军防卫队，受训负责在邦联来犯时守卫水牛城地区。联邦大陆军开展军事演习并行使礼仪职能，如参与游行、葬礼等活动。林肯的丧葬列车停留水牛城时也是联邦大陆军守护。战争结束后，菲尔莫尔继续积极参与防卫队事务直至去世。
菲尔莫尔积极参与备战，但随着内战局势逐渐明朗，他在1864年初发表演说，称国家已经因为这场战争损失太多生命和财富，呼吁对南方宽大处理。林肯政府认为这是攻击联邦的言论，在大选年不能容忍，批判菲尔莫尔的报纸文章蜂拥而至，谴责他就像混在联邦内部的民主党铜头蛇，甚至骂他叛徒，这也导致许多群体对菲尔莫尔的恶感旷日持久。菲尔莫尔在1864年总统大选中支持民主党候选人乔治·B·麦克莱伦，认为民主党立即停战、准许脱离联邦各州保留奴隶制回归的计划最有希望恢复联邦。
1865年4月林肯遇刺后，菲尔莫尔家中房子因未像其他人那样以各种形式表示哀悼被人投掷黑墨水，显然他此时不在水牛城，回家后马上就为窗户换上黑色窗帘。虽然他还是水牛城的头面人物，林肯的丧葬列车经过该市时还获选为总统送行，但许多人仍对他的战时立场耿耿于怀。菲尔莫尔支持安德鲁·约翰逊总统的重建政策，认为国家需要尽快和解。他把大部分时间投入公共事务，协助建立水牛城美术馆，水牛城因此成为第三个拥有常设美术馆的美国城市。
晚年的菲尔莫尔身体一直很健康，但在1874年2月中风，同年3月8日第二次中风后去世，享年74岁，遗体于两天后在水牛城森林草坪公墓下葬。数以百计的名流前来水牛城为他送行，其中还有三名联邦参议员，林肯内阁首位副总统、缅因州议员汉尼巴尔·哈姆林就在其中。
据斯卡里所言，美国历任总统以米勒德·菲尔莫尔最受嘲笑。在他看来，这主要是因为学界存在诋毁内战前几年任职总统、指责他们缺乏领导能力的趋势。例如近一个世纪后担任总统的哈里·S·杜鲁门就认为“菲尔莫尔软弱无能，只想着不要得罪任何人”，应该对战争承担部分责任。2010年，安娜·普瑞尔（）在《华尔街日报》发文，称菲尔莫尔这姓氏让人一听就觉得平庸。芬克曼认为，菲尔莫尔“在所处时代的核心问题上太过短视，造成的影响更加恶劣……到头来，他在所有重大道德和政治问题上的立场都与时代格格不入”。不过，雷贝克认为前总统“捍卫联邦的热忱和智慧”值得认可。
作为历史上最不为后世铭记的美国总统，菲尔莫尔已经沦为邪典人物，但史密斯认为从总统职责角度来看他非常“尽职尽责”，国会通过《逃奴法》后，他把个人好恶放在一边，选择遵守维护法律的承诺认真执行。史蒂芬·卡拉布瑞西（）和克里斯托弗·柳（）研究总统权力的著作认为，菲尔莫尔只是忠实执行美国法律，并不考虑法律本身的善恶。史密斯指出，执行《逃奴法》令菲尔莫尔蒙上亲南方的污名，但他根本没有这种倾向。此外，“即便那些高度认可菲尔莫尔支持妥协法案的人也不大愿意公开表达赞赏”，史密斯认为这“可能是因为他1856年作为一无所知党人参选”，导致他的历史地位进一步下滑。在史密斯看来，菲尔莫尔参选的主张虽与排外主义无关，但成为该党总统候选人从事后来看无论如何都是非常严重的污点。
本森·李·格雷森（）认为，菲尔莫尔政府避免潜在问题的能力常为后人忽视。他一直很关注墨西哥，不但避免美墨战争死灰复燃，还为皮尔斯任职期间两国签订《加兹登条约》奠定基础。同时，菲尔莫尔政府顺利解决扎卡里·泰勒执政期间遗留的葡萄牙欠款问题，化解美国与秘鲁在多个鸟粪岛主权上的分歧，和平解决美国与英国、法国和西班牙的争端。而且这些危机都是在没有动武、并且不伤及美国颜面的情况下消除。格雷森还称赞菲尔莫尔在1850年危机期间反对德克萨斯州侵占新墨西哥的强硬立场。弗雷德·格林斯坦（）与戴尔·安德森（）赞扬菲尔莫尔任期早期的毅力，两人指出，前总统“时常被批迟钝、平凡、墨守成规，但这些词显然低估他的能力，处理德克萨斯州－新墨西哥边界危机、解雇泰勒全部内阁、行之有效地推动《1850年妥协案》便是明证”。
白宫第一个图书馆是菲尔莫尔和夫人阿比盖尔共同建立。美国境内有多处建筑纪念米勒德·菲尔莫尔。他在东奥罗拉的故居依然屹立；1963年，米勒德·菲尔莫尔纪念协会仿建他出生时的木屋和儿时故居向前总统致敬。水牛城市政厅外有他的塑像。他当年协助建立的学府如今叫纽约州立大学水牛城分校，这里的米勒德·菲尔莫尔学术中心和米勒德·菲尔莫尔学院都是以他命名。2010年2月18日，美國鑄幣局发行总统1美元硬币计划的第13款硬币，上有菲尔莫尔的肖像。
弗吉尼亚大学米勒公共事务中心（）如此评估菲尔莫尔的总统生涯：