伊萨卡，是三兄弟中年纪最大的一个，也有一个同父异母的妹妹。哈利与他的家人住在田纳西州，并于五岁时与家人返回伊萨卡。哈利的父亲是阿拉巴马农工大学的农学教授，母亲则是亨宁长大的伯莎·乔治·哈利。家族有非洲、、切罗基、苏格兰以及血统。年轻的哈利对父亲以及他对种族主义障碍的克服相当自豪。艾利斯·哈利如父亲一样于15岁获录取，该大学为密西西比州的传统黑人大学。一年后，他改为就读于北卡罗莱纳州伊丽莎白市，同为传统黑人大学。次年，从大学退学。其父亲认为艾利斯·哈利需要纪律与成长，故说服儿子于年满18岁时参军。1939