Han var yngre bror av Thomas Pelham-Holles, 1. hertug av Newcastle, som var medlem av Pelhams regjering og som etterfulgte ham som statsminister. Pelham regnes for å ha vært Storbritannias tredje statsminister etter Robert Walpole og Spencer Compton.