今莫尔兰高地（）境内的小木屋出生，是父母五个孩子中的老幺。奥兰治镇1800年前还是西部保留地，大部分定居者来自英格兰，加菲尔德也不例外。他的祖先爱德华·加菲尔德（）1630年左右从英格兰华威郡希尔莫顿（）移民马萨诸塞。詹姆斯的父亲艾布拉姆（）生于纽约州奥齐戈县伍斯特（），前来俄亥俄州向青梅竹马的恋人求爱，但她此时已经结婚。艾布拉姆后来同昔日恋人之妹、生于新罕布什尔州的伊丽莎（）结婚，詹姆斯的名字源于夭折兄长。1833年初，艾布拉姆和伊丽莎加入基督会，詹姆斯的一生因此改变。艾布拉姆同年去世，但伊丽莎意志顽