Hans foreldre var fjernt i slekt med hverandre og kom fra innflytelsesrike og velstående familier. Hans far var den 17. baron Dunsany, en av de eldste titler innen Peerage of Ireland. Moren, Ernle, var datter av oberst Francis Augustus Plunkett Burton (sønn av admiral Ryder Burton og hans hustru, Anne Plunkett, datter av Randal Plunkett, 13. baron Dunsany) og Sarah Charlotte Elizabeth Sawbridge-Erle-Drax (død 1905, datter av John Sawbridge og hans hustru Jane, datter av Richard Erle-Drax-Grosvenor). Etter sin bror Richards død var Jane enearving til Charborough House og andre Erle-Drax-besittelser.