老纳撒尼尔曾在本宁顿任地方树篱看管人、公路测量员和税吏，叔叔卡尔文·菲尔莫尔（）曾在纽约州众议院任职，另一位叔叔西蒙·菲尔莫尔（）在纽约州克拉伦斯任镇监督员。米勒德也对政治产生兴趣，加入19世纪20年代后期兴起的反共济会党（）。许多反共济会党人反对共济会成员安德鲁·杰克逊竞选总统，反共济会党纽约州大会支持约翰·昆西·亚当斯连任，菲尔莫尔是与会代表，还曾参加1828年夏季的两次反共济会党员大会。他在会上结识早期政治老板、报纸出版商瑟洛·威德（），两人都很佩服对方。菲尔莫尔此时是东奥罗拉颇具声望的居民，从1