顿（）移民马萨诸塞。詹姆斯的父亲艾布拉姆（）生于纽约州奥齐戈县伍斯特（），前来俄亥俄州向青梅竹马的恋人求爱，但她此时已经结婚。艾布拉姆后来同昔日恋人之妹、生于新罕布什尔州的伊丽莎（）结婚，詹姆斯的名字源于夭折兄长。1833年初，艾布拉姆和伊丽莎加入基督会，詹姆斯的一生因此改变。艾布拉姆同年去世，但伊丽莎意志顽强，在贫寒中坚持把孩子拉扯大。詹姆斯是妈妈最喜欢的孩子，两人一直关系亲密直到她去世。伊丽莎1842年再嫁沃伦·贝尔登（，或是“阿尔弗雷德·贝尔登”），但她很快就离开此人，两人1850年正式离婚。此事