Desgastado por el ejercicio del poder y la impopularidad de algunas de sus políticas, una creciente oposición Whig, encabezada por George Grenville y William Pitt "el Viejo" comenzó a encontrarse en la camarilla del Federico príncipe de Gales, y Walpole comenzó a ser atacado en el Parlamento.