Pero al acceder a la corona Luis XVI, d’Aguillon fue apartado de la Corte no solo por su estrecha relación con Madame du Barry sino también por sus contactos con el embajador de Francia en Londres al que se acusaba de desvío de fondos.