哈洛出生于在密苏里州纳什维尔一个农场家庭中，父母亲叫威利斯和萨拉(娘家姓斯托威尔)·沙普利。哈洛仅受过五年教育就辍学，但坚持在家自学，不久又重返学校，以两年时间学完了六年中学课程，并作为学生代表做告别演说。1907年，在他22岁那年，哈洛·沙普利来到密苏里大学学习新闻专业，但得知学校新闻系要推迟一年才开学，他便决定按课程目录中的顺序来选择专业。他放弃了考古学，后来哈洛解释他不会这个的词发音，因而，选择了下一个专业，天文学。大学毕业后，沙普利获得了到普林斯顿大学做研究生工作的资格。在那里，他师从亨利·诺利