Pocházel z vedlejší linie irského rodu hrabat z Arranu, jeho předkové od roku 1815 užívali jméno "Ormsby-Gore" a v roce 1876 jim byl udělen titul barona. Narodil se jako jediný syn Georga Ormsby-Gore, 3. barona Harlecha (1855–1938), po matce Margaret Gordon (1861–1950) byl vnukem 10. markýze z Huntley. Studoval v Etonu a Oxfordu, v letech 1910–1938 byl poslancem Dolní sněmovny za Konzervativní stranu. Za první světové války vstoupil do armády, zúčastnil se bojů v severní Africe a dosáhl hodnosti kapitána, poté působil u generálního štábu. V roce 1917 byl povolán zpět do Anglie a stal se parlamentním tajemníkem ministra Alfreda Milnera. V roce 1919 byl členem britské delegace na mírové konferenci v Paříži. V letech 1922–1924 a 1924–1929 byl státním podsekretářem kolonií (ve druhém funkčním období byl zároveň mluvčím ministerstva kolonií v Dolní sněmovně, protože tehdejší ministr kolonií 9. vévoda z Devonshire zasedal ve Sněmovně lordů). Od roku 1927 byl členem Tajné rady.