Бирмингемский университет
Харли родился в деревне Эшли графства Глостершир. С 1943 по 1950 он учился в средней школе Бривуда около Вулвергемптона, после службы в вооружённых силах Харли поступает в Бирмингемский университет в 1952 году, однако дипломный проект он защищал в 1956 году в Университетском колледже Оксфорда, затем он возвратился в университет Бирмингема для защиты диссертации, посвященной исторической географии средневекового Уорикшира.