加菲尔德很喜欢听妈妈讲述他祖先的故事，特别是威尔士人曾曾祖父，以及曾是卡菲利城堡骑士的先辈。家境贫寒又没有父亲的加菲尔德经常遭同辈嘲笑，此后一直对他人轻慢非常敏感。他不想面对同龄人，用所有能找到的书籍打发时间。1847年，16岁的加菲尔德离开家园，克利夫兰港口唯一的船上拒绝招他做工，加菲尔德于是在运河拖船上找到工作，负责照看拉船的骡子。 据1880年为加菲尔德撰写竞选传记的霍瑞修·爱尔杰记载，传主工作表现出色。六周后，加菲尔德因生病回家，休养期间母亲和当地教育官员促使他承诺推迟返工一年去上学。184