A Robert Walpole foille imposible evitar un importante conflito europeo. El tamén tivo que facer fronte á oposición de varios políticos, encabezados por John Carteret, 2º barón Carteret (logo 2º conde Granville). Acusado de manipular as eleccións parlamentarias, Walpole retirouse en 1742 logo de vinte anos no seu cargo. O substituíu Spencer Compton, primeiro conde de Wilmington, que fora elixido por Xurxo II, tras a súa coroación, para o cargo de Primeiro Ministro, e que non puido obter entón devandito posto debido ás manobras da raíña Carolina. Lord Wilmington, con todo, era só unha figura decorativa; o poder estaba en realidade nas mans de Lord Carteret. Cando Wilmington morreu en 1743, Henry Pelham tomou o seu lugar.