2年再嫁沃伦·贝尔登（，或是“阿尔弗雷德·贝尔登”），但她很快就离开此人，两人1850年正式离婚。此事当时属于丑闻，但詹姆斯支持母亲，1880年贝尔登去世后，他还在日记中表示高兴。加菲尔德很喜欢听妈妈讲述他祖先的故事，特别是威尔士人曾曾祖父，以及曾是卡菲利城堡骑士的先辈。家境贫寒又没有父亲的加菲尔德经常遭同辈嘲笑，此后一直对他人轻慢非常敏感。他不想面对同龄人，用所有能找到的书籍打发时间。1847年，16岁的加菲尔德离开家园，克利夫兰港口唯一的船上拒绝招他做工，加菲尔德于是在运河拖船上找到工作，负责照看拉