下住所圣克莱门特宫，现在为了纪念他又叫“觊觎者宫”。查尔斯在佛罗伦萨化名“奥尔巴尼伯爵”，该名字屡屡出现在欧洲出版物上，露易丝也被称为“奥尔巴尼伯爵夫人”。1780年，查尔斯被露易丝抛弃。露易丝控诉查尔斯虐待她，这一点也被人们所相信。当时露易丝已和意大利诗人维托里奥·阿尔菲耶里伯爵有了婚外情。1783年，查尔斯签署了一份文书，给私生女夏洛特以合法身份，给她“奥尔巴尼女公爵”“殿下”的称号。但这并不足以赋予夏洛特对英国王位的继承权。此后5年，查尔斯在夏洛特陪伴下在佛罗伦萨度过。后来被称为约翰·索别