Salvo por el tiempo en que fue llamado a Francia, entre el verano de 1706 y su regreso en abril de 1713, se unió a la favorita real, la autonombrada Princesa de los Ursinos (Marie-Anne de la Tremoille), que había llegado en 1701 a la corte como Camarera mayor de la joven reina, y ambos fueron "de facto" los gobernantes de España.