巴特生于新泽西州蒙茅斯县的朗布兰奇，他的父亲叫艾迪生·威拉德·霍巴特（），母亲是索菲娅·范特维尔（）。艾迪生是新英格兰早期殖民者的后裔，许多家族成员都曾是牧师，他来到新泽西州，在马尔伯洛市的一所学校教书。加勒特的母亲是17世纪新阿姆斯特丹（之后成为纽约）荷兰移民的后代，搬到新泽西州前，她还曾迁至长岛居住。两人于1841年结婚并搬到朗布兰奇，艾迪生在这里创办了一所小学。加勒特于1844年6月3日出生，家里共有三个男孩活过了婴儿时期，加勒特是其中的老二。加勒特起初在父亲位于朗布兰奇的学校上学。到了1850年