Pelham-Holles hadde et anstrengt forhold til George II. Ved en anledning medførte kongens dårlige engelsk at Pelham-Holles mistrodde ham for å ha utfordret ham til duell.