Am 14. Dezember 1821 erhielt Peyronnet bei der Bildung des Kabinetts von Jean-Baptiste de Villèle das Portefeuille der Justiz und wählte sich u. a. Antoine Lefebvre de Vatimesnil zum Generalsekretär seines Ministeriums. Am 17. August 1822 bekam er die erbliche Grafenwürde verliehen und kurz darauf wurde er zum Offizier der Ehrenlegion ernannt. Seine ersten Schritte waren gegen die Presse gerichtet, indem er das Richteramt über Pressevergehen und die Beaufsichtigung und willkürliche Unterdrückung von Zeitungen den königlichen Gerichtshöfen verschaffte. Journale konnten nun verboten werden, wenn deren Ausrichtung dem Staatsinteresse entgegenzustehen schien. Die freisinnigen oder mit den Bonapartisten sympathisierenden Richter wusste Peyronnet aus den Ämtern zu verdrängen und bei den Deputiertenwahlen die Justizbeamten zur Berücksichtigung ministerieller Kandidaten zu zwingen. Im Kabinett drang er auf militärisches Einschreiten in Spanien.