Pelham (senere Pelham-Holles) var eldste sønn av Thomas Pelham, baron Pelham av Laughton. Han var den åttende av elleve søsken og hadde to brødre. Han etterfulgte sin bror Henry Pelham, som statsminister.