Hill giftet seg med Inez Waugh (født Bartlett) den 17. januar 1944. Den 23 år gamle Inez var tidligere hustru av Ian Anthony Waugh og datter av en offiser i hæren, Gordon Bartlett. De hadde en datter sammen, Fanny, som druknet mens hun var på ferie i Spania i 1986. Deres ekteskap varte dog kun ti år.