Nach dem Sturz Robespierres (27. Juli 1794) trat Gouly entschieden gegen diesen und daraufhin auch gegen weitere Mitglieder der früher tonangebenden Komitees wie Robert Lindet, Jean-Marie Collot d’Herbois, Claude Javogues u. a. auf. Während des Prairialaufstands unterstützte er in der Sitzung vom 21. Mai 1795 die Anträge, die Mitglieder des Insurrektionskomitees, das sich im Rathaus unter dem Namen "Nationalkonvent des Souveräns" gebildet hatte, zu ächten und mit Waffengewalt zu vertreiben, sowie die Abgeordneten, die sich am vorigen Tag am Aufstand beteiligt hatten (Pierre Bourbotte, Ruhl, Jean-Marie-Claude-Alexandre Goujon, Charles-Gilbert Romme u. a.), zu verhaften und vor ein Militärgericht zu stellen, durch das sie dann zum Tod verurteilt wurden.