Les relations de Pitt avec le duc s'aggravèrent encore au début de l'année 1756 lorsqu'il fut avancé que Newcastle avait délibérément abandonné l'île de Minorque, mal protégée pour que les Français s'en emparent, et qu'il espérait ainsi exploiter cette perte pour prouver que la Grande-Bretagne n'était pas prête à une guerre contre la France et lancer des négociations de paix. Lorsqu'en , Minorque tomba après une tentative malheureuse de l'Admiral Byng pour la soutenir, les allégations de Pitt alimentèrent la haine publique envers Newcastle, il fut ainsi attaqué par une foule en colère à Greenwich. La perte de Minorque fit voler en éclats la confiance en Newcastle et il fut forcé de démissionner de son poste de premier ministre en .