一位兄长弗雷德里克·詹姆斯·夏理德（Frederick James Hallifax）曾于海崃殖民地供职。虽然夏理德出生于印度，但自幼便被送回英国接受教育。他早年就学于，后来凭奖学金入读牛津大学巴利奥尔学院，修读人文学科和古典学。在学期间，他曾是学院的橄榄球代表，1894年成为橄榄球队队长。1896年他以人文学科三级荣誉毕业，同时取得文学士资格。
殖民地生涯.大学毕业后，夏理德于1897年被香港政府聘为官学生（政务主任前身）。接受官学生培训期间，他曾跟粤剧名伶薛觉先的父亲、秀才薛恩