La sua attitudine, favorevole ai realisti, lo rese impopolare negli ultimi tempi della sessione. Così l'8 agosto 1792 si lamentò di essere stato gravemente insultato dalla folla all'uscita dalla sessione in cui aveva calorosamente preso le difese di La Fayette, minacciato da un decreto d'accusa. Fu arrestato nel 1793, durante il Terrore per la sua opposizione al club dei Giacobini, e rilasciato 13 mesi dopo, in seguito alla Caduta di Robespierre. Pieno di zelo per la contro-rivoluzione, diventò presidente della sezione realista di Fontaine-de-Grenelle, e prese parte attiva nei preparativi per l'insurrezione del 13 vendemmiaio. Per questa ragione, la commissione militare residente al Théâtre-Français condannò in contumacia lui e il Conte de Vaublanc. Ma, sei mesi più tardi, egli ricomparve e fu prosciolto da un giudice che dichiarò che egli non aveva preso parte nella rivolta di vendemmiaio.