Henry pasó los primeros años de su vida entre la casa familiar de su abuelo y la granja de East Stour, mientras su padre permanecía ausente la mayor parte del tiempo.