I 1778 reiste han til London for senere samme år å returnere til Frankrike, der han allerede i 1770 ble tatt opp som løytnant ved det franske regimentet Royal-Bavière og ble utnevnt til oberst. Han ble presentert ved den franske kongens hoff og ble snart favorisert av den unge dronningen Marie Antoinette. Dette ga opphav til sladder om at han var hennes elsker, men dette har aldri kunnet bevises. Han fikk en forholdsvis viktig utenrikspolitisk rolle for Sverige.