Dormer var tiende barn og femte sønn av Hubert Francis Dormer og Mary Jane Elizabeth Digby og barnebarn av den 11. baron Dormer. Faren var embedsmann i Admiralitetet.