Cuando Charles tenía once años, su padre fue nombrado párroco de la localidad de Croft-on-Tees, en North Yorkshire, y toda la familia se trasladó a la espaciosa rectoría que sería la morada familiar durante los siguientes 25 años.