Da Frederik IV i 1721 giftet seg med Anna Sophie Reventlow, samme år som dronning Louise døde, oppsto det gnisninger mellom brødrene. Prins Carl tok nå sammen med sin søster Sophie Hedevig fast opphold på Vemmetofte, hvor de utfoldet seg i et forholdsvist rikt og kostbart hoffliv med overkammerherre Carl Adolf von Plessen som hoffsjef. Denne skulle ha hatt så meget makt over Carl at Frederik IV en dag utbrøt: «Der kommer Prins Pless med min Broder Carl».