持安德鲁·约翰逊总统的重建政策。菲尔莫尔退休后继续参与公共事务，曾出任他1846年创办的纽约州立大学水牛城分校校长，后于1874年3月8日去世。
早年经历和事业.1800年1月7日，米勒德·菲尔莫尔在纽约州五指湖地区卡尤加县今摩拉维亚境内农场的小木屋中出生，在父亲纳撒尼尔·菲尔莫尔（）和母亲菲比·米勒德（）的八个孩子中排行第二，是家中长子。纳撒尼尔的父亲老纳撒尼尔·菲尔莫尔（，1739至1814年）生于康涅狄格州富兰克林，是佛蒙特州本宁顿在新罕布什尔授地（）成立后的早期定居者。