Han ble valgt til underhuset første gang i 1698. Skjønt hans familie var tories sluttet han seg til whigs partit etter en krangel med sin bror George Compton. I parlamentet ble han snart fremtredende i whigpartiet og innledet et samarbeide med Robert Walpole som varte i over 40 år.