Dessverre for Karl ble han en brikke i et større politisk spill, da han beilet til Christian VIIs yngre søster prinsesse Louise. Det spilte medlemmene av konseilet ut mot hverandre og ble utnyttet av bl.a. enkedronning Juliane Marie. Da det ikke lyktes å hindre ekteskapet, falt først Moltke og senere Bernstorff i unåde ved hoffet. Senere viste kongens flyktige gunst seg igjen, da prins Karl så seg distansert av to prøyssere som hadde arbeidet i Generalkrigsdirektoratet under Saint-Germain.