Schon als Herzog von Chartres gefiel er sich in der Opposition zu Ludwig XV., bekämpfte die Reformpolitik des Kanzlers Maupeou auf das heftigste und wurde 1771/72 des Hofes verwiesen. Als Ludwig XVI. 1774 den Thron bestieg, sorgte der Herzog von Chartres durch sein Gebaren und seine liberalen Ansichten für Ablehnung von Seiten des Hofs. Königin Marie Antoinette hielt aufgrund seines Verhaltens und seiner unkritischen Haltung zur englischen Regierungsweise nicht viel von ihm. 1778 diente er in der Staffel von Louis Guillouet d’Orvilliers und nahm an der Schlacht vor Ouessant am 27. Juli 1778 teil. Er hoffte, seinen Dienst fortsetzen zu können, aber der König war dagegen, sodass er aus der Marine entfernt wurde und den Ehrenposten eines Generals der Husaren bekam.