勒德·菲尔莫尔在纽约州五指湖地区卡尤加县今摩拉维亚境内农场的小木屋中出生，在父亲纳撒尼尔·菲尔莫尔（）和母亲菲比·米勒德（）的八个孩子中排行第二，是家中长子。纳撒尼尔的父亲老纳撒尼尔·菲尔莫尔（，1739至1814年）生于康涅狄格州富兰克林，是佛蒙特州本宁顿在新罕布什尔授地（）成立后的早期定居者。纳撒尼尔与菲比于1799年离开佛蒙特州的石场，希望找到更好的生活机遇，但他们在卡尤加县的土地所有权证明出现问题，只好搬到附近的塞姆普罗尼乌斯当佃农，纳撒尼尔偶尔会到学校教课。据历史学家泰勒·安宾德（）所述，菲尔