British North America
Son père est le quatrième fils de l'hon. , lui-même le troisième fils de Charles Elphinstone, Lord Elphinstone. Son oncle paternel est le major-général William George Keith Elphinstone . Sa mère est la fille unique du vice-amiral Sir Edward Buller et de Gertrude van Cortlandt (descendante de Stephanus Van Cortlandt, la famille Schuyler et la famille de Peyster d' Amérique du Nord britannique) .