兄长（George Lanyon Hacker，1928年－）是圣公会神职人员，曾任坎布里亚郡的；他的胞姊卡洛塔·赫加·勒米厄（Carlotta Hacker Lemieux，1931年－）是加拿大小说家。许敬雅从小便随家人迁居英国各地，以至是加拿大、直布罗陀和百慕达等地。1943年，他返回英国，入读位于伯克郡的碧索德学校（Bigshotte School），其后于1946年至1949年升读德文郡的（Kelly College）。1949年至1953年，本身对艺术拥有浓厚兴趣的他入读萨里郡的（Farnham