De hecho, el Speaker Harley intentó ganarse para sí a Walpole, invitándolo a entrar en el partido Tory, algo que Walpole rechazó de manera muy vehemente, al convertirse en la bestia negra del partido Tory en los Comunes.