·阿比盖尔·菲尔莫尔（）在1832年降世。
从政水牛城.除纳撒尼尔曾担任太平绅士外，菲尔莫尔家族还有许多成员投身政界和政府机构。米勒德的爷爷老纳撒尼尔曾在本宁顿任地方树篱看管人、公路测量员和税吏，叔叔卡尔文·菲尔莫尔（）曾在纽约州众议院任职，另一位叔叔西蒙·菲尔莫尔（）在纽约州克拉伦斯任镇监督员。米勒德也对政治产生兴趣，加入19世纪20年代后期兴起的反共济会党（）。许多反共济会党人反对共济会成员安德鲁·杰克逊竞选总统，反共济会党纽约州大会支持约翰·昆西·亚当斯连任，菲尔莫尔是与