En su palacio, construido por John Vanbrugh, se reunían masones como Alexander Pope y el conde de Burlington junto con jóvenes opositores al gobierno conocidos como los "boy-patriots" (jóvenes patriotas), entre los que figuraban sus sobrinos Richard y George Grenville, y William Pitt, que llegarían a ser primeros ministros.