1762年，拉祖莫夫斯基递交了辞呈，从冬宫搬到伊丽莎白赠送给他的阿尼奇科夫宫。叶卡捷琳娜二世登基后，拉祖莫夫斯基拒绝了授予他的头衔。应女皇的要求，他销毁了与伊丽莎白结婚的所有文件。他于1771年7月6日（NS 7月17日）在圣彼得堡去世，埋葬在亚历山大·涅夫斯基修道院的圣母领报教堂。拉祖莫夫斯基和伊丽莎白·彼得罗芙娜的子女问题仍未解决，留下许多传闻。最着名的是两位塔拉卡诺娃公主。其中一位（奥古斯塔·塔拉卡诺娃）成为修女，名为多西菲亚。她于1810年去世，埋葬在罗曼诺夫家族墓穴中；另一名（伊丽莎白·塔拉卡