Etter å ha vært gift i fem år med Rose Montague, giftet Elton seg med poeten Edith Glede Scovell i 1937 og fikk senere to barn med henne. I 1967 trakk han seg tilbake fra arbeidslivet, og han døde den 1. mai 1991 i Oxford, England.