辈嘲笑，此后一直对他人轻慢非常敏感。他不想面对同龄人，用所有能找到的书籍打发时间。1847年，16岁的加菲尔德离开家园，克利夫兰港口唯一的船上拒绝招他做工，加菲尔德于是在运河拖船上找到工作，负责照看拉船的骡子。 据1880年为加菲尔德撰写竞选传记的霍瑞修·爱尔杰记载，传主工作表现出色。六周后，加菲尔德因生病回家，休养期间母亲和当地教育官员促使他承诺推迟返工一年去上学。1848年，他进入附近的吉奥格县切斯特镇（）吉奥格神学院（）学习。据加菲尔德回忆，生于贫困对童年发展影响很大，18岁前的人生一直混混噩噩，