В 1761 году вместе с принцем Субизом потерпел поражение в сражении при Фелинггаузене, ответственность за которое они стали сваливать друг на друга. Несогласия, происходившие между ним и Субизом, которому покровительствовала Помпадур, стали причиной его отозвания и удаления от двора.