カール・フォン・ザクセン
またカールはポーランドでフリーメイソンの新入り会員になっており、そのおかげでクールラント貴族内のフリーメイソン会員たちが「同胞」であるカールの味方についたことも、カールにとっては追い風となった。しかし、カールは依然として国政を宮内長官のオットー・クリストフ・フォン・デア・ハーヴェンに一任していた。
1762年7月、ロシアでは皇后であったエカチェリーナ2世がクーデタによって女帝に即位した。エカチェリーナは以前から、臣民に対する啓蒙教育に関心のないクールラント公カールを快く思っていなかった。エカチェリーナは追放されたままだったビロンを呼び戻してその名誉を完全に復活させると、ビロンにクールラント公爵位を取り戻させるべく、ザクセンに強い外交的圧力をかけ始めた。アウグスト3世は七年戦争で苦境に立たされていた上、死の床に臥せっており、愛児カールを支援するのを断念した。誰からの支持も得られないまま、カールはクールラント公国の統治権を放棄して故国ザクセンに帰った。
カールはその後もクールラント公爵位に未練を示していたが、父王アウグスト3世が没し、ザクセン選帝侯家がポーランド王位を喪失すると、その望みは完全に断たれた。カールはドレスデンで暮らし、アンナブルクの荒野での狩猟に熱中して過ごした。
カールは1796年にドレスデンで死んだ。62歳だった。彼はパンシュヴィッツ=クッカウにあるマリエンシュターン修道院に埋葬された。