新英格兰早期殖民者的后裔，许多家族成员都曾是牧师，他来到新泽西州，在马尔伯洛市的一所学校教书。加勒特的母亲是17世纪新阿姆斯特丹（之后成为纽约）荷兰移民的后代，搬到新泽西州前，她还曾迁至长岛居住。两人于1841年结婚并搬到朗布兰奇，艾迪生在这里创办了一所小学。加勒特于1844年6月3日出生，家里共有三个男孩活过了婴儿时期，加勒特是其中的老二。加勒特起初在父亲位于朗布兰奇的学校上学。到了1850年代初，全家搬迁至马尔伯洛市，加勒特于是到当地的乡村学校就读。无论是在日制学校还是主日学学校，他的成绩都很优秀，