Han ble født i landsbyen Dorridge i nærheten av Knowle i Warwickshire. Fra fylte 8 år vokste han og broren Vivian Beynon Harris (som også ble forfatter) opp på engelske kostskoler på grunn av foreldrenes separasjon. Broren sa at «han hadde en vidunderlig barndom og tenåringstid».