カールの愛人としては、アウグスタ・フォン・フェルセン、シャルロッテ・エッカーマン、フランソワーズ＝エレオノール・ヴィラン、マリアナ・コスカルやシャルロッテ・スロッツベリが有名で、このうちスロッツベリは政治にも口出ししていると噂されていた。