In september 1781 – de Republiek was sinds december 1780 in oorlog met de Engelsen, vanwege de wens tot vrijhandel en vanwege wapensmokkel naar de opstandige Verenigde Staten – kwam er steeds meer kritiek op het functioneren van Willem V. Het pamflet “"Aan het Volk van Nederland"”, waarin een aantal zaken op een rijtje was gezet die moesten aantonen dat de malaise aan de stadhouder te wijten was, vond – hoe gechargeerd ook – gretig aftrek. Willem V werd beschuldigd van heulen met de vijand: zijn volle neef George III, de koning van Engeland. Bovendien speelde de affaire met freule Constantia van Lynden hem parten. De Vierde Engels-Nederlandse Oorlog verliep door eerdere verwaarlozing van de vloot desastreus, op de Slag bij de Doggersbank na, en al in 1783 is een Vrede van Parijs (1783) gesloten. Toen in 1784 bekend werd dat Lodewijk Ernst de stadhouder in het geheim adviseerde, zonder voor de gevolgen verantwoordelijk te kunnen worden gesteld, is die zaak door de patriotten in pamfletten uitgebuit. De gehate hertog werd de Republiek uitgezet. De in het slop geraakte economie werd bedreigd toen keizer Jozef II, die ook heer van de Oostenrijkse Nederlanden was, opening van de Schelde eiste. De Keteloorlog die daarop volgde was aanleiding voor de patriotten tot het oprichten van nog meer exercitiegenootschappen. Daardoor zou de invloed van Willem V op de benoeming van buitenlandse officieren in het Staatse leger afnemen.