Il re lo fece "Ministro della Marina e delle Colonie" il 26 ottobre 1790. Lui e il re volevano separare i ministeri navali e coloniali, ma l'Assemblea nazionale la pensava diversamente e si dimise il 15 aprile 1791. Più tardi in quello stesso anno fu nominato custode del Delfino, il futuro Luigi XVII. Rimase nelle Tuileries il 10 agosto 1792, a sostegno di Luigi XVI fino al punto critico, ma per fortuna i rivoluzionari non lo scoprirono. Nel mezzo del regno del terrore, nel settembre del 1793, Charles Pierre fu arrestato a causa di una lettera di raccomandazione che Luigi XVI aveva inviato all'Assemblea nazionale, pubblicata sul "Monitor universale" il 17 aprile 1791, in cui per la prima volta chiese la nomina di Charles come governatore del Delfino. Rimase imprigionato con sua moglie nelle Madelonnette per 14 mesi; sono stati infine rilasciati per trovare case, mobili, terre e risorse disperse e distrutte. Una lettera alla "sezione des piques" nella prigione - scoperta nella casa di Robespierre - parla di un primo arresto, che potrebbe suggerire che Charles fu arrestato più volte e trasferito da una prigione all'altra. Dopo la caduta di Robespierre fu nominato membro del Bureau des longitudes e dell'Institut dopo le dimissioni di M. de Bougainville nel 1795. Nel 1797 (anno V) fu eletto deputato alla Senna nel Consiglio degli Anziani con il nome di Claret-Fleurieu. Rimase così fino al Colpo di Stato del 18 fruttidoro quando fu escluso dal Consiglio. Fu eletto membro del Consiglio di Stato il 24 dicembre 1799.