王国所有在意大利半岛的土地，萨丁尼亚王国只好退回萨丁尼亚岛。第二年，卡洛试图收复皮德蒙特不果。他和王后住在罗马和那不勒斯，成为富有的科隆纳家族的宾客。1802年3月2日，爱妻玛丽·克洛蒂尔德逝世，他因而于同年6月4日退位，因没有子嗣而逊位给其弟维托里奥·埃马努埃莱一世，仍保有国王头衔，住在罗马或邻镇弗拉斯卡蒂。在弗拉斯卡蒂，卡洛成为斯图亚特王朝的最后成员枢机约克公爵亨利·贝内迪克特·斯图亚特的常客。1807年亨利死后，卡洛成为查理一世的继承人，因而被詹姆斯党认可为英格兰、苏格兰、法兰西、爱尔兰国王查