当佃农，纳撒尼尔偶尔会到学校教课。据历史学家泰勒·安宾德（）所述，菲尔菲尔总统的童年“非常辛苦，经常身陷贫困，几乎没有受过正规教育”。菲尔莫尔成长期间生活十分贫寒，但随着时间的推移，家中境遇逐渐改善纳撒尼尔在塞姆普罗尼乌斯变得小有名气，获选出任包括太平绅士在内的多种地方公职。他希望长子学会手艺，说服14岁的米勒德不参加1812年战争，而是前往利文斯顿县斯巴达（）向制布商本杰明·亨格福德（）学徒。但是，亨格福德打发米勒德去干繁重而且根本学不到技能的体力活，米勒德后来离职。父亲接下来又把他送到奈尔斯纽霍普（