Da sein älterer Bruder Lieutenant Charles Sackville Pelham, Lord Worsley, bereits am 30. Oktober 1914 in der Ersten Ypernschlacht gefallen war, erbte Pelham beim Tod seiner Mutter am 17. November 1926 deren Adelstitel als 8. Baron Fauconberg und 14. Baron Conyers. Er wurde dadurch schon zu Lebzeiten seines Vaters Mitglied des House of Lords. Beim Tod seines Vaters erbte er am 12. Juli 1936 auch dessen Adelstitel als 5. Earl of Yarborough, 5. Baron Worsley und 6. Baron Yarborough. Er übernahm von seinem Vater auch das Familienanwesen "Brocklesby Park" in Lincolnshire und das Ehrenamt des Leiters einer Parforcejagd ("Master of the Brocklesby Hounds").